2025-09-14 21:52:36 +00:00
|
|
|
|
# 【M22】OLAP 三个分中心的 HDFS 节点磁盘空间利用率超过 80%
|
|
|
|
|
|
|
|
|
|
|
|
| ID | Creation Date | Assignee | Status |
|
|
|
|
|
|
|----|----------------|----------|--------|
|
|
|
|
|
|
| OMPUB-1402 | 2024-08-05T19:37:17.000+0800 | 王成成 | 已关闭 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
{*}现象描述：{*}M现场3个站点出现磁盘空间利用率超出80%告警，经查看每个节点存储分布不均匀：
|
|
|
|
|
|
* YGN-MYTEL 的使用率在 66% 到 90% 之间
|
|
|
|
|
|
* YGN-ORD 的使用率在 55% 到 82% 之间
|
|
|
|
|
|
* YGN-CPN-TLN 为 的使用率在 61% 到 89% 之间
|
|
|
|
|
|
|
|
|
|
|
|
出现告警时，Namenode节点的存储空间使用率比其它节点多25%左右。例如：YGN-MYTEL的Namenode节点存储16TB，其它节点存储只有12TB。
|
|
|
|
|
|
|
|
|
|
|
|
**wangchengcheng** commented on *2024-08-16T16:33:32.877+0800*:
|
|
|
|
|
|
|
|
|
|
|
|
问题原因：hbase的mob文件的合并导致hdfs数据不均衡。hbase的mob文件的合并由hbase的master进程负责，master将mob文件合并完成后写入hdfs，master作为hdfs的客户端，数据会优先写入本机的datanode，因此导致master进程所在服务器的datanode磁盘占用比其他节点高。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
**wangchengcheng** commented on *2024-08-16T16:33:58.969+0800*:
|
|
|
|
|
|
|
|
|
|
|
|
添加定时任务，每天凌晨01:00执行。在hdfs集群的最后一台服务器的/etc/cron.d/目录下创建run_hdfs_balancer文件，添加以下内容，修改hdfs安装目录：
|
|
|
|
|
|
|#Balance hdfs data.
|
|
|
|
|
|
0 1 * * * root /{color:#ff0000}{hadoop_dir}{color}/hadoop-2.7.1/sbin/start-balancer.sh -threshold 5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2025-09-14 22:26:17 +00:00
|
|
|
|
# Attachments
|
2025-09-14 21:52:36 +00:00
|
|
|
|
|
