# 【XJ-NPM】IDC环境 Hbase、Hadoop服务监控端口异常 | ID | Creation Date | Assignee | Status | |----|----------------|----------|--------| | OMPUB-1026 | 2023-10-08T19:08:24.000+0800 | 戚岱杰 | 已解决 | --- 1.巡检时发现Hbase，Hadoop服务宕机告警,如附件1-1告警信息所示； 2.反馈至本地大数据同事，经排查Hbase，Hadoop服务正常，监控端口发生变化； 3.问题现状： （1）Hbase监控图表显示该服务频繁重启，24h内重启次数>10次，如附件1-2,1-3Hbase status所示; 且Hbase监控端口频繁发生变化，这种现状是否存在隐患情况以及如何处理？ (2)Hadoop监控端口发生变化后，哪吒监控端口还是原来端口，故有一台Hadoop一直显示宕机，是否需要将哪吒上监控端口换为Hadoop现在使用的端口或是使用其他解决方案？**qidaijie** commented on *2023-10-09T18:01:07.276+0800*: 当前状态： # 该问题与监控端口无关，为231.103服务器HregionServer和DataNode进程异常。 # 目前103数据节点已被移出集群，不影响正常使用。   详细情况： 1：HregionServer和DataNode进程启动时间在2023年3月15/16号，且没有重启记录。 !进程启动时间.png|thumbnail! 2：HregionServer最新日志时间是2023年9月22号，同时进入hbase的log目录后使用ll命令会卡死。 3：231.103上运行的Hadoop和HBase的主节点，均可正常提供服务器，界面可正常访问。   综上：怀疑HregionServer和DataNode进程存在假死或僵尸进程情况，需再确认。 --- **qidaijie** commented on *2023-10-11T11:39:26.548+0800*: 经后续确认，该问题为HregionServer和DataNode僵尸进程导致，与GAL-248出现僵尸进程时现象一致。 !僵尸进程.png|thumbnail!   处理方式：通过升级Linux系统内核3.10.0-693.e17.x86_64到kernel-3.10.0-1160.el7.x86_64，重启后进程恢复正常，后续持续观察。   --- # Attachments Attachment: 1-1告警信息.png ![1-1告警信息.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45414/1-1告警信息.png) Attachment: 1-2+Hbase+status.png ![1-2+Hbase+status.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45413/1-2+Hbase+status.png) Attachment: 1-3+Hbase+status.png ![1-3+Hbase+status.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45412/1-3+Hbase+status.png) Attachment: HBase界面.jpg ![HBase界面.jpg](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45419/HBase界面.jpg) Attachment: HDFS界面.jpg ![HDFS界面.jpg](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45420/HDFS界面.jpg) Attachment: 僵尸进程.png ![僵尸进程.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45625/僵尸进程.png) Attachment: 进程启动时间.png ![进程启动时间.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/45475/进程启动时间.png)