1.6 KiB
1.6 KiB
【WMS-UTR项目】多台OLAP服务器出现OLAP Asset High Disk Space Usage >80%以及OLAP Asset Open too many files告警
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1174 | 2024-03-04T12:11:59.000+0800 | 戚岱杰 | 已关闭 |
查询过去7天告警，OLAP出现以下告警： OLAP Asset High Disk Space Usage >80%：
- pcap-h3cr4900-olap005
- pcap-h3cr4900-olap006
OLAP Asset Open too many files：
- pcap-h3cr4900-olap002
- pcap-h3cr4900-olap003
- pcap-h3cr4900-olap004
- pcap-h3cr4900-olap005
- pcap-h3cr4900-olap006
- pcap-h3cr4900-olap007qidaijie commented on 2024-03-07T16:21:45.607+0800:
OLAP Asset High Disk Space Usage >80%：
- 经确认，该告警为现场非结构化文件较多 约30TB/天，现场至多存储3天。
- 现场Clickhouse和HDFS混部，存储空间共享。
解决方案：
- 删除历史存储的非结构化文件，释放存储空间。
- 将Files存储配额修改为1天，避免磁盘再次写满，同时为日志预留存储空间。
qidaijie commented on 2024-03-26T11:22:23.533+0800:
OLAP Asset Open too many files告警：
- 由于现场各站点非结构化文件较多，处理数据时单台服务器打开的句柄就相对较大。 ** 非结构化文件数量： *** MSH:340000/s *** PCAP:170000/s *** TWA:370000/s
解决方案：将P1 默认告警 Too many open files 调整阈值为60,000
Attachments
Attachment: olap.jpg
