geedge-jira/md/OMPUB-830.md

# 【E21现场】SHQ-IGW站点Kafka_exporter进程打开太多文件

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-830 | 2023-03-01T22:06:58.000+0800 | 戚岱杰 | 已关闭 |


---

SHQ-IGW站点OLAP Hbase Down告警从2023-03-01 00:07:36 开始持续9h

修改句柄数，重启程序，目前告警已消除。**qidaijie** commented on *2023-03-08T10:46:21.065+0800*:

经过确认，现场情况如下：
 # 执行命令过程中，出现 Too many open files in system 错误信息，确认为打开文件数过多；系统配置的最大文件打开数为65535。
 # 后确认PID为28748的进程出现异常，打开了57433个文件，该进程为kafka_exporter。 !进程打开文件数截图.png|thumbnail!
 # kafka_exporter进程出现异常时，服务请求kafka和NZ采集时，都会新打开一个文件。
 # HBase等组件是受kafka_exporter影响出现的告警，非组件问题。

现场处理方案：
 # 临时增加了系统可打开的文件数到3263496；下次服务器重启时失效。
 # 重启kafka_exporter容器后恢复正常。

 

问题原因：通过git issue查询到有相关问题[https://github.com/danielqsj/kafka_exporter/issues/54]

 

后续处置：
 # 需要补充确认出现该问题具体时间点。
 # 更新kafka_exporter版本至最新版本1.6.0测试。



---

**qidaijie** commented on *2023-03-20T18:14:21.932+0800*:

根据历史时间监控查询，该问题是长期持续产生的。

!历史文件打开数.png|thumbnail!

后续处理：
 * 未在Kafka服务正常的情况下复现该问题，更新版本问题需要长期观察。
 * NZ增加文件句柄数告警规则，与22.11版本同步更新。

 



---

**qidaijie** commented on *2023-04-07T11:20:21.452+0800*:

E现场已在22.11版本更新相关内容，后续持续观察该问题。



---



# Attachments

Attachment: 进程打开文件数截图.png

![进程打开文件数截图.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35828/进程打开文件数截图.png)



Attachment: 历史文件打开数.png

![历史文件打开数.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/36296/历史文件打开数.png)