admin/geedge-jira
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
6a8bfef5778fc7ddd06fa05776bf1ecd0f61d4c4
geedge-jira/md/OMPUB-1269.md

199 lines
5.9 KiB
Markdown
Raw Normal View History

first
2025-09-14 21:52:36 +00:00
# 【M22项目】修改Split By类型Shaping Profile的速率后，无法打开网址
| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-1269 | 2024-05-03T18:08:04.000+0800 | 杨威 | 处理中 |
---
描述：修改限制速率大小后无法打开网址，将Rule关闭后，可以打开网址
复现步骤：
* 创建Shaping Rule如下图所示： !image-2024-05-03-16-35-44-425.png|thumbnail!
* 修改Shaping Profile限制的速率大小如下图： !image-2024-05-03-16-36-34-036.png|thumbnail!
* 访问地址：[https://www.youtube.com|https://www.youtube.com/]
当前问题：无法打开youtube
包已放到附件中**liuxueli** commented on *2024-05-04T12:25:33.291+0800*:
* 现象：
** 命中shaping策略后，客户端正在下载文件的连接终止(下载速率为0)，客户端访问网页(youtube)失败
* 干扰
** 测试时存在Monitor、statistics、shaping策略，仅存在一条生效的shaping策略
** 因Hotfix存在重启设备，单位时间内仅存在一台设备重启
* 复现
** kill consul、shaping进程未复现问题
** 随机挑选一台没有流量的设备重启即复现问题，测试仅存在一条生效的shaping策略且仅存在一个profile
*
**
*** 重启一台设备且仅重启一次
* 结论
** 复现问题时执行cluster sanity check命令查看存在异常的key，执行结果如下
*
**
***
{code:java}
[root@tsg-traffic-engine-vsys-1-shaping-c7d76f9c9-sgkd4 shaping_engine]# exit
[root@MDY-ATOM-TSGX009 tsg-traffic-engine-vsys-1]# kubectl exec -it tsg-traffic-engine-vsys-1-shaping-c7d76f9c9-sgkd4 -- bash
Defaulted container "shaping" out of: shaping, telegraf-shaping, log-dir-hook, init-default-svc (init), init-announce-svc (init), init-cm-svc (init), init-packet-io-engine-ready (init), shaping-init (init)
[root@tsg-traffic-engine-vsys-1-shaping-c7d76f9c9-sgkd4 shaping_engine]# /opt/tsg/framework/bin/swarmkv-cli -n tsg-shaping-vsys1 -c 10.172.12.9:8500
tsg-shaping-vsys1> cluster sanity check
1) "tsg-shaping-4023-incoming"
tsg-shaping-vsys1> cluster sanity check
1) "tsg-shaping-4023-incoming"
tsg-shaping-vsys1> cluster sanity check
1) "tsg-shaping-4023-incoming"
2) "tsg-shaping-4023-incoming"
tsg-shaping-vsys1> cluster sanity check
(integer) 0
tsg-shaping-vsys1> cluster sanity check
(integer) 0
tsg-shaping-vsys1>  {code}
* 疑点
** 推测仅重启swarmkv集群的leader或者key owner会导致异常，但随机挑选一台无流量的设备重启即复现本问题
* 下一步复测
** 复现问题时，确认重启设备与swarmkv集群的leader或者key owner设备是否正相关。
---
**yangwei** commented on *2024-05-04T13:49:56.142+0800*:
M22现场 2024-05-04复测，在集群未有节点重启的情况下，概率性出现https://jira.geedge.net/browse/TSG-17649类似的现象，即一段时间后，客户端断网。
检查Shaping Engine的统计输出，发现异步调用的P80延迟为17.7ms，平均延迟为6.2ms
!image-2024-05-04-13-47-43-156.png|width=720,height=210!
---
**yangwei** commented on *2024-05-04T17:49:59.229+0800*:
进一步进行测试验证，同样下发如下策略
* splitby token bucket，限速为7.5Mbps
* 限速条件为Client IP
{*}持续测试一段时间后，客户端出现断网的现象{*}。
!image-2024-05-04-17-41-45-545.png|width=613,height=305!
测试的{*}客户端流量分散在不同的站点的不同节点{*}，在{*}YGN-MYTEL站点{*}检查Shaping Engine的{*}请求返回延迟，平均20ms。{*}
!image-2024-05-04-17-45-02-867.png|width=834,height=240!
使用 CLUSTER SANITY check检查集群状态，{*}显示存在异常的key{*}。
!image-2024-05-04-17-46-14-535.png|width=712,height=396!
{*}使用SwarmKV CLI模拟新的member（1233）进行消费{*}，由于Split By的单位为local host，原则上模拟出的member可以独享一个7.5Mbps的Token_bucket，但是使用命令行{*}连续消费少量Token，仍然出现消费失败的情况，不符合预期。{*}
!image-2024-05-04-17-48-39-582.png!
上述客户端断网的情况，概率性出现，且在一段时间后能够自愈。
初步结论：issue中描述的问题，{*}与标题中修改profile的行为无直接关系{*}，而是下发{*}SplitBy的限速Profile后{*}，{*}一定概率会出现客户端断网的现象{*}。可能的原因为集群内部通信延迟较大后，由于SplitBy Token Bucket同步的数据量较大，Shaping Engine获取Token失败，造成客户端疑似断网的现象。
 
M现场尝试下发Generic Token Bucket并测试，进一步确认上述结论。
---
**hebingning** commented on *2024-05-05T12:38:54.157+0800*:
5月4日多次进行测试，测试结果：
Shaping Rule引用Type为：Generic/Fair Share 的Shaping Profile
未发生断网情况
Shaping Rule引用Type为：Split By的Shaping Profile
出现客户端断网的情况[~yangwei] 
---
**zhengchao** commented on *2024-05-06T10:46:21.985+0800*:
用SWARMKV的INFO命令看一下节点的同步带宽。
---
**liuxueli** commented on *2024-05-06T11:51:31.355+0800*:
* 这个是客户端断网期间执行CLUSTER SANITY check / CLUSTER NODES  / CLUSTER INFO三个命令的结果：
** [^10.161.12.26_2024-05-04_15_34_58.txt]
---
**zhengchao** commented on *2024-05-06T13:31:10.804+0800*:
Bulk Token Bucket同步消息是4Mb/msg，1个worker线程可能扛不住这么大的同步量
{quote}17) 1) "10.168.12.6:30745"
sync_err: 882383
instantaneous_input_kbps: 234599.00
instantaneous_input_msgs: 69.00{quote}
---
## Attachments
**56643/10.161.12.26_2024-05-04_15_34_58.txt**
---
**56612/image-2024-05-03-16-35-44-425.png**
---
**56611/image-2024-05-03-16-36-34-036.png**
---
**56623/image-2024-05-04-13-47-43-156.png**
---
**56625/image-2024-05-04-17-41-45-545.png**
---
**56626/image-2024-05-04-17-45-02-867.png**
---
**56627/image-2024-05-04-17-46-14-535.png**
---
**56628/image-2024-05-04-17-48-39-582.png**
---
**56610/youtube.pcapng**
---
Reference in New Issue Copy Permalink