5.0 KiB
【M22项目】MDY-GTG-TSGX002、MDY-GTG-TSGX003未收到流量
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1324 | 2024-06-12T15:28:26.000+0800 | 陆秋文 | 已关闭 |
通过NZ监控发现MDY-GTG站点TSGX002、TSGX003于2024-05-17 16:44左右未收到流量: !image-2024-06-12-13-40-06-048.png|width=325,height=161!
排查过程:
1、TSGX002和TSGX003程序运行正常
!image-2024-06-12-13-41-37-344.png|width=326,height=129!
2、查看Ether Fabric与TSGX之间的保活状态,显示保活正常
!image-2024-06-12-13-52-53-659.png!
3、查看RTM流量:RTM实际收到的流量和实际发出的流量相近
!image-2024-06-12-13-44-25-839.png|width=333,height=163!
!image-2024-06-12-13-44-06-926.png|width=333,height=163!
4、查看SMBIO与ASW连接口流量:大概只有实际流量的1/3
!image-2024-06-12-13-46-00-784.png|width=495,height=77!
5、查看ASW交换机流量:大概只有实际流量的1/3,与Ether Fabric发出的流量相近
!image-2024-06-12-13-46-51-391.png|width=308,height=180!
!image-2024-06-12-13-47-02-951.png|width=308,height=167!
总结上述现象:流量实际进入了RTM,但是SMBIO与交换机连接的端口收到的流量只有1/3chengsiyuan commented on 2024-06-12T15:35:28.250+0800:
研发同事[~songyanchao]将MDY-GTG-TSGX002、TSGX003流量恢复,临时修复步骤如图:
!image-2024-06-12-15-34-55-983.png|width=594,height=276!
songyanchao commented on 2024-06-12T15:38:59.953+0800:
进一步对比EF链路侧的监控和业务侧的实时流量,我们怀疑EF设备中portgroup的处理流程存在问题。 1.EF设备流量情况 •EF实际收到的流量为40G左右,实际发出的流量也是40G左右,这说明链路侧的数据包没有被丢弃。 2.问题分析 •该EF设备的业务侧连接了三台TSG-X设备,其中TSGX001收到约15G的流量(带vxlan封装,大约是链路侧流量的1/3),而TSGX002和TSGX003没有收到任何流量。 •查看EF设备上对应portgroup的配置,发现三台设备的sessionStatus均为Online,bypass threshold设为2。 根据EF厂商提供的“保活策略说明文档”,这种现象类似于“动态端口组中有端口离线(2,TSGX002和TSGX003),且在线板卡数目小于或等于bypass threshold(2)值时,在线端口流量保持原负载均衡方式输出,失效端口流量从链路口透传”。现怀疑portgroup模块中的‘保活状态’或‘保活策略’处理存在问题,导致当前portgroup认为仅有1个设备为Online(实际3个设备均为Online),因此执行了“在线端口流量保持原负载均衡方式输出,失效端口流量从链路口透传”策略,导致TSGX001收到约15G的流量(带vxlan封装,大约是链路侧流量的1/3),而TSGX002和TSGX003没有收到任何流量。
luqiuwen commented on 2024-06-17T17:33:47.320+0800:
已联系供应商,供应商表示从日志和统计无法分析出原因,要求下次出现该现象时远程诊断。麻烦[~chengsiyuan] 注意观察,再出现该现象时及时联系。
luqiuwen commented on 2024-07-31T16:50:59.790+0800:
后期未复现,暂时关闭。
Attachments
Attachment: image-2024-06-12-13-40-06-048.png
Attachment: image-2024-06-12-13-41-37-344.png
Attachment: image-2024-06-12-13-44-06-926.png
Attachment: image-2024-06-12-13-44-25-839.png
Attachment: image-2024-06-12-13-46-00-784.png
Attachment: image-2024-06-12-13-46-51-391.png
Attachment: image-2024-06-12-13-47-02-951.png
Attachment: image-2024-06-12-13-52-53-659.png
Attachment: image-2024-06-12-15-34-55-983.png








