74 lines
1.9 KiB
Markdown
74 lines
1.9 KiB
Markdown
# 【E21现场】SHQ-IGW站点Kafka_exporter进程打开太多文件
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-830 | 2023-03-01T22:06:58.000+0800 | 戚岱杰 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
SHQ-IGW站点OLAP Hbase Down告警从2023-03-01 00:07:36 开始持续9h
|
||
|
||
修改句柄数，重启程序，目前告警已消除。**qidaijie** commented on *2023-03-08T10:46:21.065+0800*:
|
||
|
||
经过确认，现场情况如下：
|
||
# 执行命令过程中，出现 Too many open files in system 错误信息，确认为打开文件数过多；系统配置的最大文件打开数为65535。
|
||
# 后确认PID为28748的进程出现异常，打开了57433个文件，该进程为kafka_exporter。 !进程打开文件数截图.png|thumbnail!
|
||
# kafka_exporter进程出现异常时，服务请求kafka和NZ采集时，都会新打开一个文件。
|
||
# HBase等组件是受kafka_exporter影响出现的告警，非组件问题。
|
||
|
||
现场处理方案：
|
||
# 临时增加了系统可打开的文件数到3263496；下次服务器重启时失效。
|
||
# 重启kafka_exporter容器后恢复正常。
|
||
|
||
|
||
|
||
问题原因：通过git issue查询到有相关问题[https://github.com/danielqsj/kafka_exporter/issues/54]
|
||
|
||
|
||
|
||
后续处置：
|
||
# 需要补充确认出现该问题具体时间点。
|
||
# 更新kafka_exporter版本至最新版本1.6.0测试。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-03-20T18:14:21.932+0800*:
|
||
|
||
根据历史时间监控查询，该问题是长期持续产生的。
|
||
|
||
!历史文件打开数.png|thumbnail!
|
||
|
||
后续处理：
|
||
* 未在Kafka服务正常的情况下复现该问题，更新版本问题需要长期观察。
|
||
* NZ增加文件句柄数告警规则，与22.11版本同步更新。
|
||
|
||
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-04-07T11:20:21.452+0800*:
|
||
|
||
E现场已在22.11版本更新相关内容，后续持续观察该问题。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**35828/进程打开文件数截图.png**
|
||
|
||
---
|
||
|
||
**36296/历史文件打开数.png**
|
||
|
||
---
|
||
|