139 lines
5.0 KiB
Markdown
139 lines
5.0 KiB
Markdown
# 【XJ-NPM现场】功能端sapp间断丢包
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-484 | 2022-05-16T10:39:32.000+0800 | 贾依蒙 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
在nezha监控中发现rx_drops_total sapp 间断性丢包。如图1所示。 !图1.png|thumbnail!**yangwei** commented on *2022-05-16T11:39:08.844+0800*:
|
||
|
||
* 据4月25号交流结果，当时报{*}省口移动机房{*}有20台左右功能端存在丢包较多的情况，NEZHA监控信息如下：
|
||
|
||
!image-2022-05-16-11-23-25-277.png|width=600,height=262!
|
||
|
||
monit_stream查看信息如下，初步判断为{*}单网卡流量过载(ens1f0网卡上Rx+Drop >1.2Mpps，远大于ens2f0上的152K pps){*}
|
||
|
||
!image-2022-05-16-11-25-54-223.png|width=645,height=210!
|
||
* 初步交流，确认当时没有新增策略，排查因为策略扫描命中率，导致丢包的原因，进一步查看NEZHA上较长时间范围内，sapp丢包曲线如下：
|
||
* !image-2022-05-16-11-28-07-255.png|width=787,height=362!
|
||
* 定位到一台正在丢包现场的功能端，执行monit_stream -IHs --per-stream，按线程查看sapp处理情况如下：
|
||
* !image-2022-05-16-11-28-57-505.png|width=667,height=294!
|
||
* 进一步判断原因为2号和12号包处理线程流量过载，两个线程drop约1.7Mpps包，比其他包处理线程正常处理的包(609K pps)高约3倍
|
||
* 通过在丢包功能端对应工作线程捕包，发现异常流量基本来自相同二元组，疑似DoS：
|
||
* !image-2022-05-16-11-37-13-225.png|width=901,height=183!
|
||
* 小结：4月25号丢包的原因，基本判定为二元组DoS攻击->单线程分流不匀->功能端工作线程过载，建议改为四元组分流，可以缓解这种简单的DoS攻击，对于DDoS仍然存在问题
|
||
|
||
|
||
|
||
---
|
||
|
||
**yangwei** commented on *2022-05-16T11:39:52.170+0800*:
|
||
|
||
请[~jiayimeng] 补充IDC机房环境出现丢包的详细情况
|
||
|
||
|
||
|
||
---
|
||
|
||
**jiayimeng** commented on *2022-05-16T17:00:10.073+0800*:
|
||
|
||
新疆联通IDC环境有10台左右的功能端出现间断丢包现象，查看monit_device结果显示不丢包，查看monit_stream -lHs --per-stream，单线程存在分流不均导致的丢包 ，因丢包现象不持续，按线程抓包未能准确在丢包时抓取。
|
||
|
||
!image-2022-05-16-16-56-18-321.png|thumbnail!
|
||
|
||
查看sysinfo.log，功能端记录的链路质量显示丢包率百分之3多，
|
||
|
||
!screenshot-1.png|thumbnail!
|
||
|
||
根据省口处理经验，修改mrzcpd分流模式为内层四元组分流，目前修改了0.14，待观察。
|
||
|
||
|
||
|
||
---
|
||
|
||
**jiayimeng** commented on *2022-05-17T16:17:43.464+0800*:
|
||
|
||
172.16.0.14修改分流模式后，未出现丢包，17日中午修改全部TSG-X分流模式为内层四元组。
|
||
|
||
当前24小时内丢包情况如下。
|
||
|
||
!image-2022-05-17-16-16-42-319.png|thumbnail!
|
||
|
||
待明日观察今晚流量高峰期丢包情况。
|
||
|
||
|
||
|
||
---
|
||
|
||
**jiayimeng** commented on *2022-05-18T10:41:50.778+0800*:
|
||
|
||
今日功能端丢包情况，几乎无丢包。
|
||
|
||
!image-2022-05-18-10-41-34-224.png|thumbnail!
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
# Attachments
|
||
|
||
Attachment: image-2022-05-16-11-23-25-277.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-11-25-54-223.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-11-28-07-255.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-11-28-57-505.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-11-29-36-228.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-11-37-13-225.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-16-16-56-18-321.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-17-16-16-42-319.png
|
||
|
||
|
||
|
||
|
||
Attachment: image-2022-05-18-10-41-34-224.png
|
||
|
||
|
||
|
||
|
||
Attachment: screenshot-1.png
|
||
|
||
|
||
|
||
|
||
Attachment: 图1.png
|
||
|
||
|
||
|
||
|