63 lines
2.1 KiB
Markdown
63 lines
2.1 KiB
Markdown
# BOL-IGW站点多台NPB设备产生TSG-OS container restart告警
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-1446 | 2024-09-02T20:06:19.000+0800 | 杨威 | 开放 |
|
||
|
||
|
||
---
|
||
|
||
No description
|
||
|
||
---
|
||
|
||
**yangwei** commented on *2024-09-03T11:20:14.754+0800*:
|
||
|
||
现场
|
||
* Bole-IGW两组共计10个NPB，除Bole-IGW T9K02 NPB05外，其余所有traffic_engine均在9月1日00:40~00:42之间出现重启，触发现场为marsio报no mbuf
|
||
|
||
分析
|
||
* 检查触发重启的NPB日志
|
||
** firewall进程在00:42均出现CPU使用超过99%的告警，范围为所有包处理核
|
||
|
||
!image-2024-09-03-10-45-22-623.png|width=536,height=179!
|
||
*
|
||
** 未触发重启的NPB05，在同一时刻也有上述CPU使用超99%的告警，持续2s后消失，推测该NPB当时剩余mbuf较其他节点稍多，因此未触发marsio的no mbuf，同时该NPB也并未触发死锁检测告警。
|
||
** 由于firewall所有包处理线程CPU使用率接近100%，导致未及时处理marsio缓冲队列中的mbuf，大部分NPB在1s内触发marsio no mbuf告警
|
||
* 检查未重启的NPB监控
|
||
** 重启时段为流量低谷期，在00:41左右明显出现udp新建上涨，同时monitor命中也从每秒100~300突增至9k+
|
||
|
||
!image-2024-09-03-11-03-22-597.png|width=389,height=266!!image-2024-09-03-11-07-07-174.png|width=393,height=277!
|
||
|
||
结论
|
||
* 综上，根据现场的日志和监控，推测重启的原因为9.1 00:41时刻，Bole-IGW站点所有NPB收到突增的UDP流量，同时大量命中monitor策略，所有处理线程CPU使用超过99%，触发marsio no mbuf告警导致所有pod重启。
|
||
|
||
|
||
|
||
问题
|
||
* 突发流量持续时间较短（日志显示约1~2s），除NPB05外，其余NPB未到达overload protection最小检测周期1s即已触发marsio no mbuf，firewall需要考虑调整过载保护的检测周期至更细粒度。
|
||
* 考虑增加对monitor策略命中速率的限制
|
||
|
||
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**62173/image-2024-09-03-10-45-22-623.png**
|
||
|
||
---
|
||
|
||
**62174/image-2024-09-03-11-03-22-597.png**
|
||
|
||
---
|
||
|
||
**62175/image-2024-09-03-11-07-07-174.png**
|
||
|
||
---
|
||
|