geedge-jira/md/OMPUB-814.md

# 福建项目：现场测试穿透问题

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-814 | 2023-02-22T11:58:10.000+0800 | 刘学利 | 已关闭 |


---

*客户端IP*：36.251.161.217（内网地址172.20.10.6）
*服务端IP*：36.255.221.179（内网地址10.10.10.180）
*测试网址*：http://36.255.221.179/
*sapp版本*：sapp-4.2.90.8c77537-1

测试客户端链接手机热点，服务端为自建测试服务器
测试策略为IP阻断策略

现象：服务端在syn-ack后收到rst包，未停止链接，继续向客户端回复数据
**zhangzhihan** commented on *2023-02-23T20:24:24.805+0800*:

测试网络：泉州联通5G（城域网出口）
客户端IP：36.251.161.255（内网地址172.20.10.6）
服务端IP：36.255.221.179（内网地址10.10.10.180）

第一次访问穿透，客户端未收到rst包，服务端在syn后收到rst包，单本次连接并未中断
 !screenshot-1.png|thumbnail! 
 !screenshot-2.png|thumbnail! 
 [^client.pcap.pcapng]  [^server_web.pcap]  



---

**zhangzhihan** commented on *2023-02-24T14:00:21.281+0800*:

【测试网络】：泉州电信城域网
【客户端IP】：124.72.197.159（内网地址172.20.0.137）
【服务端IP】：36.255.221.179
【策略】：服务端IP阻断策略

【客户端捕包】： [^tsetweb_client.pcap] 
【功能端tcpdump_mesa捕包（192.168.35.2）】： [^testweb_rx352.pcap] 
【功能端管理口捕包（192.168.35.2）】： [^testweb_rst352.pcap] 
【功能端tcpdump_mesa捕包（192.168.36.1）】： [^testweb_rx361.pcap] 
【功能端管理口捕包（192.168.36.1）】： [^testweb_rst361.pcap] 

【客户端第一次访问】：tcp.stream eq 7
【现象1】：客户端在syn后收到rst包，但仍然穿透，并且收到了一个ICMP不可达的报文，查看策略，并未打开”ICMP不可达“开关，并且本次也未命中其他策略。
【现象2】：sapp已打开封堵补救，auto remedy=1，目前现象是每次命中策略向一侧连续发2个rst包，并非每个数据包都会对应一个rst 
 !screenshot-3.png|thumbnail! 

【客户端第二次访问】：tcp.stream eq 8
【现象】：rst到达客户端比syn晚了100ms，穿透



---

**zhangzhihan** commented on *2023-03-02T15:39:14.801+0800*:

福建穿透问题已解决，主要穿透原因有以下2点

*1、Rst到达客户端延迟问题*
造成该问题的原因，是因为mrglobal.conf中sz_buffer配置过大，不符合现在的流量大小导致。
原配置参数值为为32，在2021年建设完成-2022年上半年期间，系统的整体流量很大，sapp压力也很大，为缓解sapp和mrzpd丢包的问题，将该值设置为32，即mrzcpd每间隔32个包向sapp发送一次流量，当时流量的pps很高所以32个包很快就满了，并未对系统产生影响；
从2022年下半年后，用户逐步增加了汇聚分流上的drop策略，丢弃了更多不需要的流量。流量中的pps降低，增加了32个包的累积速率。
现场对某个机房的功能端服务器进行改造，使得该服务器可以直接访问互联网，并且保证culr出去的流量经分光-汇聚分流，最后还能回到本机，保证了测试环境无时间误差。通过对比 请求的syn包 和 sapp收到流量的syn包 发现，sapp在收到流量的时候已经有5-20ms的延迟，所以sapp发出去的rst就出现了延迟。
*将sz_buffer参数调整为0后，再次测试，两个syn包间隔在微秒级别，并且rst也无延迟现象。*

*2、运营商问题*
调研发现：
泉州联通在2022年下半年扩了链路，导致泉州联通的流量不完整；
福州移动的4G核心设置了网络隔离，未将rst转发到原始链路中；

*3、汇聚分流故障*
泉州电信汇聚分流端口故障，up状态无法接收流量，导致泉州电信流量不完整




---



# Attachments

Attachment: client.pcap.pcapng

[client.pcap.pcapng](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35469/client.pcap.pcapng)



Attachment: client.pcap-1.pcapng

[client.pcap-1.pcapng](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35472/client.pcap-1.pcapng)



Attachment: client手机抓包.pcap

[client手机抓包.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35474/client手机抓包.pcap)



Attachment: screenshot-1.png

![screenshot-1.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35467/screenshot-1.png)



Attachment: screenshot-2.png

![screenshot-2.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35468/screenshot-2.png)



Attachment: screenshot-3.png

![screenshot-3.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35499/screenshot-3.png)



Attachment: server_web.pcap

[server_web.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35470/server_web.pcap)



Attachment: server_web-1.pcap

[server_web-1.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35471/server_web-1.pcap)



Attachment: testweb_rst352.pcap

[testweb_rst352.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35496/testweb_rst352.pcap)



Attachment: testweb_rst361.pcap

[testweb_rst361.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35498/testweb_rst361.pcap)



Attachment: testweb_rx352.pcap

[testweb_rx352.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35495/testweb_rx352.pcap)



Attachment: testweb_rx361.pcap

[testweb_rx361.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35497/testweb_rx361.pcap)



Attachment: tsetweb_client.pcap

[tsetweb_client.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35494/tsetweb_client.pcap)



Attachment: 服务端捕包.pcap

[服务端捕包.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35407/服务端捕包.pcap)



Attachment: 客户端捕包.pcap

[客户端捕包.pcap](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35406/客户端捕包.pcap)