1.5 KiB
1.5 KiB
【M22】OLAP 三个分中心的 HDFS 节点磁盘空间利用率超过 80%
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1402 | 2024-08-05T19:37:17.000+0800 | 王成成 | 已关闭 |
{}现象描述：{}M现场3个站点出现磁盘空间利用率超出80%告警，经查看每个节点存储分布不均匀：
- YGN-MYTEL 的使用率在 66% 到 90% 之间
- YGN-ORD 的使用率在 55% 到 82% 之间
- YGN-CPN-TLN 为 的使用率在 61% 到 89% 之间
出现告警时，Namenode节点的存储空间使用率比其它节点多25%左右。例如：YGN-MYTEL的Namenode节点存储16TB，其它节点存储只有12TB。
wangchengcheng commented on 2024-08-16T16:33:32.877+0800:
问题原因：hbase的mob文件的合并导致hdfs数据不均衡。hbase的mob文件的合并由hbase的master进程负责，master将mob文件合并完成后写入hdfs，master作为hdfs的客户端，数据会优先写入本机的datanode，因此导致master进程所在服务器的datanode磁盘占用比其他节点高。
wangchengcheng commented on 2024-08-16T16:33:58.969+0800:
添加定时任务，每天凌晨01:00执行。在hdfs集群的最后一台服务器的/etc/cron.d/目录下创建run_hdfs_balancer文件，添加以下内容，修改hdfs安装目录： |#Balance hdfs data. 0 1 * * * root /{color:#ff0000}{hadoop_dir}{color}/hadoop-2.7.1/sbin/start-balancer.sh -threshold 5 |