2.2 KiB
2.2 KiB
福建项目：安全事件日志日志详情有数据，上方统计图无数据
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-528 | 2022-06-17T12:28:46.000+0800 | 戚岱杰 | 已关闭 |
2022-06-16 晚21：30对福建功能端sapp进行升级，升级后发现，安全策略界面显示日志柱状图异常（但是升级前后对比日志量级无明显差距）
!image-2022-06-17-12-26-43-015.png|thumbnail! !image-2022-06-17-12-26-48-860.png|thumbnail! qidaijie commented on 2022-06-17T18:06:43.182+0800:
经过排查原因如下： 泉州
在16号20:49分时，10.1服务器 /data 挂载盘丢失，导致该节点上的服务异常。
!10.1.png|thumbnail!
因这台为主节点，Flink守护脚本会请求这台节点来判断服务是否正常，导致了Flink任务异常，丢失了部分数据。
在17号13点左右发现此问题同时进行了修复，临时将10.1节点踢出集群。
固16号20:49分到17号13点之间的日志量比正常情况小。
福州
因福州文件较多HOS服务性能有压力，固将Hadoop副本机制临时关闭，减少IO消耗。
在16号21点左右，8.19服务器宕机。
!8.19.png|thumbnail!
8.19为Hadoop节点，在没有副本的情况下节点宕机，导致了Hadoop服务异常。
因8.19一直未恢复，为保证服务可用在17号下午16点左右，选择删除损坏的数据块恢复了Hadoop。
期间Druid统计后的数据无法落盘，导致了从界面查询一段时间都没有数据。
Attachments
Attachment: 10.1.png
Attachment: 8.19.png
Attachment: image-2022-06-17-12-26-43-015.png
Attachment: image-2022-06-17-12-26-48-860.png
