admin/geedge-jira
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
6a8bfef5778fc7ddd06fa05776bf1ecd0f61d4c4
geedge-jira/md/OMPUB-466.md

1172 lines
29 KiB
Markdown
Raw Normal View History

first
2025-09-14 21:52:36 +00:00
# 【E21现场】IGW站点security policy block www.target.com 失败
| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-466 | 2022-04-26T22:02:07.000+0800 | 刘学利 | 已关闭 |
---
业主自己尝试配置security policy  block 网站：[https://www.target.com/] ，
策略配置如下：
client ip=196.188.136.150（办公室公网ip）
application：ssl 
sni-FQDN:*target.com
                 *targetimg1.com
                  $target.scene7.com
                  $target.com
Sub Action:reset
Effective Devices：{color:#0747a6}*所有IGW站点*{color}
 
策略测试效果：
浏览器一直访问[https://www.target.com/ |https://www.target.com/]，最初无法访问成功，大概一分钟左右网站可以正常访问。
 
并将以下内容上传到附件中：
策略配置内容截图
处理机计算板上drop情况
该策略安全策略命中日志
会话日志里搜索sni =%target% client ip=196.188.136.150导出session records
 
查询安全策略命中日志和会话日志时stream direction 只看到double 和c2s,没有s2c日志记录。
 
 **liuxueli** commented on *2022-04-27T10:01:47.937+0800*:
* [~liuju] 这种问题需要现场捕包，在客户端捕包发我，我分析一下
* 另外我在京版尝试能不能复现
---
**dongxiaoyan** commented on *2022-04-27T10:44:19.639+0800*:
[~liuxueli]信息港复测：
1、浏览器正常访问，多访问几次打开一次；
2、无痕模式访问，一直未打开；
3、再次清理缓存后，浏览器正常访问，隔几分钟刷新一次，一直未打开；
---
**liuxueli** commented on *2022-04-27T11:45:50.356+0800*:
* 京版复现情况(京版环境不能稳定复现)：
*
** 京版唯一复现的一次，同时开启了捕包，数据包中存在18个ssl链接的SNI包含(target.com)的域名，
*** 16个链接在client hello收到功能端发出的RESET后，链接关闭
*** 2个链接未收到RESET,，链接正常建立
**** 在SessionRecord中未查到该2个链接的记录，客户端端口为17375/17376
**** SSL解析层测试18个链接均能解析出SNI
*** [^18-target.com.pcap]
---
**gitlab** commented on *2022-04-27T11:49:29.384+0800*:
[刘学利|https://git.mesalab.cn/liuxueli] mentioned this issue in [a commit|https://git.mesalab.cn/MESA_Platform/ssl/-/commit/8e49d1f437fe377a6dabae5bcbc623c2bc34b5d3] of [MESA Platform / ssl|https://git.mesalab.cn/MESA_Platform/ssl] on branch [bugfix-add-test-case|https://git.mesalab.cn/MESA_Platform/ssl/-/tree/bugfix-add-test-case]:{quote}OMPUB-466: 增加相应的测试用例{quote}
---
**liuxueli** commented on *2022-04-27T11:51:39.774+0800*:
* [bugfix-add-test-case|https://git.mesalab.cn/MESA_Platform/ssl/-/tree/bugfix-add-test-case]: 分支未修复任何BUG，仅增加测试用例，需继续定位该问题。
---
**liuxueli** commented on *2022-04-27T15:20:25.195+0800*:
* E现场复测，客户端未收到RESET包，查看日志发现RESET包发送失败报错
** 参见：TSG-10508 
---
**liuxueli** commented on *2022-04-27T17:29:09.456+0800*:
* 分析E现场反馈回来数据包，有3个链接未阻断成功，经分析原因：在Bole IGW站点的CPU使用过载触发SAPP overload protection机制导致链接被Bypass(sapp未建立对应的流表)
** 当单核CPU使用率超95%时，会触发SAPP的overload protection机制，SAPP配置文件如下：
*
**
*** !image-2022-04-27-17-53-42-859.png!  
** 分析在NPB上捕获的数据包，找到3个未阻断成功链接对应的client ISN，查询SessionRecord日志，仅在Old Airport站点查到日志
*** NPB捕获的数据包
**** [^target.com-196.188.136.150-151.101.2.187.443.pcap] 
*** Session日志记录
**** [^sessionRecords-deny-target.com-failed.xlsx]
** 查看NPB DDOS Bypass监控，TCP Bypass 3~5K/S个链接，UDP Bypass 1.55K/S个链接：
*** !image-2022-04-27-17-12-00-094.png|width=1090,height=508!
** 查看NPB原始流量
*** !image-2022-04-27-17-14-25-901.png|width=1093,height=506!
**  查看NPB 整体CPU使用率
*** !image-2022-04-27-17-15-02-774.png|width=1079,height=492!
** 查看NPB 单核CPU使用率
*** !image-2022-04-27-17-17-32-639.png!
** 查看perf top -C cpuid的结果
*** !image-2022-04-27-17-19-09-881.png!  
*** !image-2022-04-27-17-18-43-458.png!
** 查看火焰图
*** [^perf.svg]
*** [^perf33.svg]
*** [^perf37.svg]
*** [^perf40.svg]
---
**liuxueli** commented on *2022-04-27T17:36:10.537+0800*:
* 火焰图中_int_malloc调用较多的地方
** tsg_master
*** !image-2022-04-27-17-36-03-049.png|width=1139,height=433!
** MAAT
*** !image-2022-04-27-17-35-20-050.png|width=1152,height=213!
**  
---
**liuxueli** commented on *2022-04-28T10:27:29.680+0800*:
* E现场反馈回来的扫描状态显示，FQDN命中率较高：
** APP SKETCH扫描状态[^app_sketch_maat.txt]
*** FQDN识别特征命中率为80%，
*** APP_SIG_SESSION_ATTRIBUTE_STRING表命中率: 35%
*** APP_SIG_SESSION_ATTRIBUTE_INTEGER表命中率: 10%
** TSG功能端扫描状态[^tsg_static_maat.txt]
*** FQDN命中率为: 58%
*** KEYWORDS命中率: 3.6%
*** APP_ID命中率: 96%(无性能影响)
*** FQDN_CAT命中率: 100%(无性能影响)
---
**liuxueli** commented on *2022-04-28T11:03:48.107+0800*:
* [~liuju] 到现场后备份一下Bifang的MariaDB，我需要验证现场的哪个FQDN的对象命中率比较高
** 京版环境可能跟现场有差别
* E现场备份回来的21.11版本，存在重复的FQDN Object现象，具体列表：
** [^e21-version-21.11-dup-fqdn-object.txt]
** ^经分析确认为APP内置特征(VPN)，一个FQDN在多个Object中出现^
** ^对应BUG: TSG-10517^
---
**liuxueli** commented on *2022-04-28T14:34:33.918+0800*:
* E现场备份回来的Bifang MariaDB v21.11版本发现，APP内置特征中包含三个极易命中的特征
** APP_SIG_SESSION_ATTRIBUTE_STRING
***
{code:java}
12482085    113748    http.user_agent    chrome    0    0    0    1    1639035425000000 0
9021592    112096    http.user_agent    Chrome    0    0    0    1    1637987142000000 0
9021593    112097    http.content_type    text/html    0    0    0    1    1637987142000000 0 {code}
---
**zhengchao** commented on *2022-04-28T14:41:38.582+0800*:
现场http的比例多大？是触发overload protection的原因吗？
---
**liuxueli** commented on *2022-04-28T15:43:28.368+0800*:
* Bole IGW NPB5的协议统计，HTTP的比例8%，可能是APP_SIG_SESSION_ATTRIBUTE_STRING表命中率较高的原因
** 导出PDF结果中QUIC拼写错误，参见：TSG-10523  
** [^L7protocal_sessions-Bole IGW NPB2.csv]
** [^L7protocal_sessions-Bole IGW NPB5.csv]
**  [^L7protocal_sessions-all-NPB.csv]
** [^L7protocal_sessions-all-NPB-new.csv]
** !image-2022-04-28-15-43-09-227.png!
---
**liuxueli** commented on *2022-04-28T16:27:44.265+0800*:
* FQDN扫描命中率高的原因应该是：APP_SKETCH扫描了TOPN SNI，识别Psiphon3和Freegate非的条件。
** [^Bole IGW NPB5-http_domain_session.csv]
** [^Bole IGW NPB5-QUIC.SNI_session.csv]
** [^Bole IGW NPB5-SSL.SNI_session.csv]
---
**liuxueli** commented on *2022-04-28T16:54:53.829+0800*:
* APP_SKETCH扫描了TOPN SNI高命中率导致的CPU跑满，从而引发Bole IGW站点的SAPP overload protection机制导致链接被Bypass。[~luqiuwen] 
---
**zhengchao** commented on *2022-04-28T17:01:59.390+0800*:
IGW能不能把TFE的CPU让出来？[~luqiuwen] 
---
**luqiuwen** commented on *2022-04-28T17:02:57.016+0800*:
可以在IGW的计算板上关闭Proxy功能，将Proxy使用的CPU资源调整为Firewall使用。Provision中已预留相关选项，操作步骤：
* 修改/data/tsg-os-provision/provision.yml文件，将proxy->enable选项由1调整为0：
{code:java}
proxy:
  enable: 1 {code}
修改为：
{code:java}
proxy:
  enable: 0 {code}
* 令上述配置生效，运行：
{code:java}
$ sudo provision-config-apply{code}
* 检查tfe是否在运行
{code:java}
$ systemctl status tfe
● tfe.service - Tango Frontend Engine
   Loaded: loaded (/usr/lib/systemd/system/tfe.service; disabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/tfe.service.d
           └─require-mrzcpd.conf, service_add_ConditionPathExists.conf, service_override_env.conf, service_override_slice.conf
   Active: inactive (dead) since Thu 2022-04-28 11:46:17 EAT; 15min ago
  Process: 18732 ExecStart=/opt/tsg/tfe/bin/tfe (code=killed, signal=TERM)
 Main PID: 18732 (code=killed, signal=TERM){code}
其中，Active项应为inactive。
需要考虑的问题是：
* 在关闭Proxy功能后，所有拦截策略和代理策略将无法在IGW生效，如何向业主解释。
---
**zhengchao** commented on *2022-04-28T17:06:42.366+0800*:
对业主解释：由于IGW存在单向流，Proxy功能不在IGW生效。
---
**gitlab** commented on *2022-04-28T18:18:44.475+0800*:
[刘学利|https://git.mesalab.cn/liuxueli] mentioned this issue in [a merge request|https://git.mesalab.cn/MESA_Platform/ssl/-/merge_requests/34] of [MESA Platform / ssl|https://git.mesalab.cn/MESA_Platform/ssl] on branch [feature-add-test-case|https://git.mesalab.cn/MESA_Platform/ssl/-/tree/feature-add-test-case]:{quote}OMPUB-466: 增加相应的测试用例{quote}
---
**liuxueli** commented on *2022-04-29T09:44:47.117+0800*:
* Bole IGW NPB5 TFE的CPU让出来后，被SAPP主动Bypass的链接有减少，但是没有完全消除
** !image-2022-04-29-09-44-38-025.png|width=1108,height=549!
---
**liuxueli** commented on *2022-04-29T10:19:39.687+0800*:
* [~liuju] 到现场后把/opt/tsg/sapp/sysinfo.log文件发回来一份。
** [^Bole IGW NPB5 sysinfo.log]
---
**liuxueli** commented on *2022-05-05T14:23:24.256+0800*:
* 新疆环境统计，xx.xxx.192.175：
** 实时流量约6Gbps，monit_device统计：
***  
*** !XJ-192.175-monit_device.png!
** 整体的CPU使用率，单核使用率均在60~65%左右：
*** !XJ-192.175-top-all-cpu.png|thumbnail!
** SAPP的TCP/UDP链接流标大小为100000，sysinfo统计： [^XJ-192.175-sysinfo.txt]
*** !XJ-192.175-sysinfo.png!
** TSG MAAT句柄的扫描状态统计：[^XJ-192.175-tsg_static_maat.txt]
*** FQDN字符串扫描命中率为：53%
*** IP归属地字符串扫描命中率为：51% 
*** !XJ-192.175-tsg-maat.png!
** APP MAAT句柄扫描统计：[^XJ-192.175-app_sketch_maat.txt]
***  FQDN字符串扫描命中率为：66%
*** !XJ-192.175-app-maat.png!
** 单核CPU使用，perf top -C 6：
*** !XJ-192.175-perf-top-cpu6.png!
** CPU 6的火焰图[^XJ-192.175-perf-cpu-6.svg]
*** ^__clock_gettime 是SAPP统计包处理延时造成的，E现场未开启该功能^
---
**zhengchao** commented on *2022-05-05T14:45:02.941+0800*:
FQDN对比，命中率、扫描性能({_}PROC_Tps{_})相近，E21的扫描次数{_}(IN_Tps=5.30e+04){_}是新疆(1.62e+04)的3倍
{code:java}
TSG_OBJ_FQDN (XJ)                160158             0             0      2.86e+05      5.66e+06      1.62e+04      3.20e+05      5.72e-01
TSG_OBJ_FQDN (E21)                 4532             0             0      1.15e+06      7.26e+06      5.30e+04      3.36e+05      5.80e-01 {code}
 
---
**yangwei** commented on *2022-05-05T14:53:03.447+0800*:
补充说明：
# 新疆单核perf排名第一的函数为clock_get_time，原因是sapp开启了包处理延迟统计，E现场没有开启该功能
# 新疆CPU型号为Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz，9140的CPU型号为Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz
---
**liuxueli** commented on *2022-05-06T11:00:08.046+0800*:
* 使用京版E现场升级验证环境测试，仪表构造流量，加载E现场的配置：
** {color:#de350b}测试结果：不加载E现场的APP特征配置，新建性能可以提升一倍{color}
*** {color:#de350b}新建由3.3万/s提升到7.3wan/s{color}
*** {color:#de350b}其中加载E现场APP特征，损耗CPU较多的函数为“msort_with_tmp”{color}
** {color:#172b4d}测试分为两组对比测试，{color}
*
**
*** {color:#172b4d}加载E现场APP特征配置{color}
**** {color:#172b4d}整体CPU使用率：{color}
***** {color:#172b4d}!XXG-40.82-load-app-maat-all-cpu.png!{color}
**** {color:#172b4d}单核CPU使用率，perf top -C 14{color}
***** {color:#172b4d}!XXG-40.82-load-app-maat-perf-top-cpu14.png!{color}
**** SAPP处理新建连接数({color:#de350b}3.3万/s{color})：[^XXG-40.82-load-app-maat-sysinfo.txt]
***** !XXG-40.82-load-app-maat-new-link.png!
*** {color:#172b4d}不加载E现场APP特征配置{color}
**** {color:#172b4d}整体CPU使用率：{color}
***** !XXG-40.82-no-app-maat--all-cpu.png!
**** {color:#172b4d}单核CPU使用率，perf top -C 14{color}
***** {color:#172b4d}!XXG-40.82-no-app-maat-perf-top-cpu14.png!{color}
**** {color:#172b4d}SAPP处理新建连接数(7.3万/s{color})，[^XXG-40.82-no-app-maat-sysinfo.txt]：
***** !XXG-40.82-no-app-maat-new-link.png!
---
**liuxueli** commented on *2022-05-06T11:01:15.064+0800*:
* 等待[~zhangwei] 优化APP特征组织结构后进行复测。
** 去除APP特征中APP ID的引用
---
**yangwei** commented on *2022-05-06T18:21:12.898+0800*:
分析E现场使用的App特征，在APP_SIG_SESSION_ATTRIBUTE_INTEGER表中，general.session.analysis.app_id存在较多重复
* 如下图所示，第一列为重复次数，第二列为AppID，其中67为HTTP，199为SSL，按前述统计，这俩种协议分别占E现场流量的65%和8%
可以部分解释前述在新建连接较高的情况下，单核出现CPU使用较高（perf采样占用第一的为msort_xxx函数调用）导致触发sapp自我保护的现象
!image-2022-05-06-18-15-08-649.png!
---
**liuxueli** commented on *2022-05-07T16:16:36.389+0800*:
* 优化APP特征组织结构后进行复测（去除APP特征中APP ID的引用），使用同一个数据包进行测试，对比APP的识别结果
** {color:#de350b}优化前单核新建处理能力为: 1000/s，单核CPU使用率75%左右{color}
** {color:#de350b}优化后单核新建处理能力为: 2500/s，单核CPU使用率80%左右 {color}
** {color:#de350b}有3个APP识别结果不一致{color}
*** {color:#de350b}!image-2022-05-07-16-12-05-474.png!{color}
---
**zhengchao** commented on *2022-05-07T17:00:00.363+0800*:
确认优化后的AppSketchDB可以在22.02版本正确加载，之后提供给E21现场。
---
**liuxueli** commented on *2022-05-09T10:51:10.555+0800*:
* App_GooseVPN_20211208识别结果存在差别，分析App_GooseVPN_20211208特征，特征条件变化，可能导致一定的误识别
** {color:#de350b}优化前特证：IP+PROTOCOl(IKE){color}
** {color:#de350b}优化后特征：仅IP{color}
---
**liuxueli** commented on *2022-05-09T17:24:52.318+0800*:
*  调整App_GooseVPN_20211208的特征，引用app_id=IKE的特征保留，
* 手动删除其余对app_id特征的引用，优化前后的APP识别结果一致（Psiphon3、unknown除外）。
** {color:#de350b}E现场升级验证环境，Psiphon3的识别特征有变化，导致识别结果存在差异，识别结果变少{color}
** {color:#de350b}Psiphon3识别结果减少，unknown相应会增加{color}
* {color:#172b4d}已提供至[~liuju] E21现场更新{color}
---
**liuju** commented on *2022-05-09T22:01:03.929+0800*:
1、已根据张东旭提供的《E现场修正app特征操作说明》文档，完成对E现场列表里提供的所有app自定义特征进行修改更新，将general.session.analysis.app_id的Condition删除。
2、并根据提供的sql语句对更新结果进行验证，验证更新无误。[~liuxueli] 
---
**liuxueli** commented on *2022-05-10T09:37:05.586+0800*:
* [~liuju] 观察Nezha监控上的DDOS Bypass的统计是否还存在？
* 统计自定义APP的特征修正前后识别链接数是否较大的差异（统计12小时）？
** 统计Session Record日志中的common_app_label字段
* 登录Bole  IGW NPB5查看一下整体CPU，使用perf top -C cpuid看一下单核的CPU
---
**liuxueli** commented on *2022-05-10T17:47:36.817+0800*:
* 建议[~liuju] 申请在IGW站点复测业主提出的网站阻断效果不佳的问题
* 优化APP自定义特征后，观察Bole IGW的统计，{color:#de350b}其中由于SAPP overload protection机制导致链接被Bypass的统计(DDOS Bypass)降为0{color}，{color:#de350b}偶尔会存在几个链接被Byapss{color}
** Nezha统计新建及DDOS Bypass
*** !Bole IGW NPB1 new connect.png!
*** !Bole IGW NPB1 DDOS Bypass connect.png!
*** !Bole IGW NPB2 new connect.png!
*** !Bole IGW NPB2 DDOS Bypass connect.png!
*** !Bole IGW NPB3 new connect.png!
*** !Bole IGW NPB3 DDOS Bypass connect.png!
---
**liuxueli** commented on *2022-05-10T17:50:27.077+0800*:
* [~liuju] Bole IGW NPB5 Nezha采集出现异常，请另外提一个BUG。
---
**liuju** commented on *2022-05-10T21:19:49.593+0800*:
[~liuxueli] 好的 采集问题已提交BUG  另外在IGW站点业主提出的网站阻断效果不佳的问题，业主已在进行复测，后续有结果会继续反馈
---
**liuxueli** commented on *2022-05-13T17:39:22.275+0800*:
* 从现场Nezha监控看，{color:#de350b}目前Bole IGW NPB5还存在由于SAPP overload protection机制导致链接被Bypass，流量峰值(10Gbps左右)时Bypass 2K/s个链接，CPU使用率在60%左右{color}
** {color:#172b4d}OMPUB-481影响，20220511~20220512统计出现异常，在20220512北京时间晚上重启sapp恢复统计{color}
** {color:#172b4d}DDOS Bypass统计{color}
*** {color:#172b4d}!Bole IGW NPB5 DDOS bypass 20220513.png|width=1743,height=810!{color}
** {color:#172b4d}新建链接统计{color}
*** {color:#172b4d}!Bole IGW NPB5 new connections 20220513.png|width=1777,height=827!{color}
** {color:#172b4d}流量统计{color}
*** {color:#172b4d}!Bole IGW NPB5 throughtput 20220513.png|width=1581,height=743!{color}
** {color:#172b4d}CPU使用率{color}
*** !Bole IGW NPB5 CPU 20220513.png!
** {color:#172b4d}perf top -C 32/44{color}
*** {color:#172b4d}!Bole IGW NPB5 perf top cpu32 20220513.png!{color}
*** {color:#172b4d}!Bole IGW NPB5 perf top cpu44 20220513.png!{color}
---
**liuxueli** commented on *2022-05-16T15:33:32.233+0800*:
* [~liuju] 建议关闭Bole IGW NPB SAPP的bypass功能，修改配置项：
** 修改/data/tsg-os-provision/provision.yml文件，将feature->enable_stream_bypass_under_ddos选项由1调整为0
*** !image-2022-05-16-15-33-27-227.png!
** 执行命令使上述配置生效，运行：
*** sudo provision-config-apply
** 执行完成后检查sapp配置文件etc/sapp.toml
*** stream_bypass_enabled=0 
*** !image-2022-05-16-15-32-36-510.png!
---
**liuju** commented on *2022-05-16T23:59:04.497+0800*:
BOLE-IGW 10.225.11.1~5 已经按你的更新要求完成更新现在，均已检查完更新之后配置stream_bypass_enabled=0。[~liuxueli] 待明天申请配置策略效果验证完，告诉更新之后的效果。
---
**liuxueli** commented on *2022-05-17T08:50:35.226+0800*:
* [~liuju] 观察Bole IGW 是否存在丢包现象。
---
**liuju** commented on *2022-05-17T20:50:49.691+0800*:
关闭Bole IGW NPB SAPP的bypass功能后，今天业主重新进行复测IGW站点 security policy deny功能，复测结果都deny成功。[~liuxueli] 墨处询问该问题的具体原因，我回复说我需要告诉你们复测结果之后，待家里你们再告知我具体问题原因。墨处要求明天知道问题原因。
---
**zhengchao** commented on *2022-05-17T21:09:19.754+0800*:
回复业主：问题原因北京还在定位。
[~liuju]  观察Bole IGW 是否存在丢包现象。
---
**liuju** commented on *2022-05-17T21:14:30.862+0800*:
收到，好的[~zhengchao]   BOLE-IGW 早上和现场观察结果还存在丢包。具体每个NPB丢包情况已微信提供给学利。
---
**liuxueli** commented on *2022-05-18T10:04:24.965+0800*:
* Bole IGW 存在偶尔丢包的情况，范围在200~1300pps，[~liuju] 需要同步丢包时刻的流量、CPU的监控
** !Bole IGW NPB1 application drop pkts.png!
** !Bole IGW NPB2 application drop pkts.png!
** !Bole IGW NPB3 application drop pkts.png!
** !Bole IGW NPB4 application drop pkts.png!
** !Bole IGW NPB5 application drop pkts.png!
---
**liuju** commented on *2022-05-18T15:18:25.026+0800*:
好的[~liuxueli]  BOLE-IGW 最近24小时丢包及流量、CPU情况 截图 因本地网络上传jira困难，已将数据图片微信发送给你。
---
**liuxueli** commented on *2022-05-24T17:07:53.129+0800*:
* [~liuju] 观察Nezha监控，找一个由于CPU使用过载触发SAPP overload protection机制导致链接被Bypass较多得NPB，调整SAPP的配置文件，观察Bypass的情况
** 调整SAPP参数，位于sapp.toml，{color:#de350b}bypass_trigger_cpu_usage参数值由90改为99{color}，重启SAPP，观察bypass的情况
*** !image-2022-05-24-17-06-33-618.png!
---
**liuju** commented on *2022-05-25T15:15:02.793+0800*:
[~zhengchao] 超哥，业主处长这近期一直追问进展，故障原因。
---
**liuju** commented on *2022-05-25T15:31:32.750+0800*:
[~liuxueli] 已对比近7天bypass数据之后 挑选了MWV-IGW 10.227.11.9  修改了/opt/tsg/sapp/etc/sapp.toml配置内容bypass_trigger_cpu_usage=90改完bypass_trigger_cpu_usage=99,已重启sapp，待观察更新后效果。
---
**zhengchao** commented on *2022-05-25T16:56:30.458+0800*:
[~liuxueli] 提供新的TSG OS文件，22.02继续升级。
IGW站点的overload bypass的阈值调整为99。[~yangwei] 
请 [~liuju] 提供现场perf，研发进一步优化性能。
---
**zhengchao** commented on *2022-05-25T16:58:01.728+0800*:
回复业主：由于之前的App特征过于消耗计算资源，影响了阻断功能，目前已优化了一轮，正在线上观察效果。北京方面也在开展更进一步的优化。
{quote}超哥，业主处长这近期一直追问进展，故障原因。
{quote}
---
**liuju** commented on *2022-05-25T22:09:07.905+0800*:
嗯嗯，好的~收到！
---
**liuxueli** commented on *2022-05-26T15:24:58.130+0800*:
* 20220526查看Bole IGW NPB5的CPU使用情况，查看perf top cpu48的使用分布
** 使用top查看整体CPU使用
*** !Bole IGW NPB5 all cpu 20220526.png!
** perf top cpu48结果
*** !Bole IGW NPB5 perf top cpu48 20220526.png!
---
**liuxueli** commented on *2022-05-31T09:46:06.827+0800*:
* [~liuju] 鉴于IGW站点的overload bypass的阈值调整为99后还存在Bypass的现象，找两个Bypass较多的NPB
** 一个NPB使用cpuages采集CPU的使用率，采集24小时
** 一个NPB调整sapp配置文件(/opt/tsg/sapp/etc/sapp.toml)参数，smooth_avg_window有2调整为20
*** !image-2022-05-31-09-44-22-020.png!
** !image-2022-05-31-09-45-23-952.png!
** !image-2022-05-31-09-46-02-588.png!
---
**liuju** commented on *2022-05-31T14:28:57.759+0800*:
收到  好的[~liuxueli] 
---
**liuxueli** commented on *2022-06-10T15:38:27.387+0800*:
* NPB调整sapp配置文件(/opt/tsg/sapp/etc/sapp.toml)参数，smooth_avg_window有2调整为20，还是存在被SAPP Bypass的链接
** !image-2022-06-10-15-36-23-768.png!
** !image-2022-06-10-15-37-33-666.png!
** !image-2022-06-10-15-38-10-175.png!
**  
---
**liuxueli** commented on *2022-06-10T16:49:20.613+0800*:
* [~liuju] smooth_avg_window参数由2调整为20 的NPB，使用cpusage命令采集一下CPU的使用率
---
**liuxueli** commented on *2022-06-15T10:14:53.829+0800*:
* smooth_avg_window参数由2调整为20 的NPB，还是存在Bypass的情况，查看cpusage采集的CPU使用率，Bypass前后时刻的CPU单核使用率均未超过95%，[~yangwei] 
** 采集日志及截图存在于: 40.146:/home/E21/CPU20220610~20220611.zip
---
**liuxueli** commented on *2022-06-17T16:45:53.990+0800*:
* 京版9140环境也存在链接被SAPP Bypass的现象。
** !XXG-9140.sapp.bypass.png!
---
**gitlab** commented on *2022-07-29T10:24:05.585+0800*:
[刘学利|https://git.mesalab.cn/liuxueli] mentioned this issue in [a merge request|https://git.mesalab.cn/MESA_Platform/ssl/-/merge_requests/35] of [MESA Platform / ssl|https://git.mesalab.cn/MESA_Platform/ssl] on branch [feature-add-test-case|https://git.mesalab.cn/MESA_Platform/ssl/-/tree/feature-add-test-case]:{quote}OMPUB-466: 增加SSL相应的测试用例{quote}
---
**gitlab** commented on *2022-07-29T10:24:09.209+0800*:
[刘学利|https://git.mesalab.cn/liuxueli] mentioned this issue in [a commit|https://git.mesalab.cn/MESA_Platform/ssl/-/commit/1325788848f31f58d173c57767a2d1d47a0c2598] of [MESA Platform / ssl|https://git.mesalab.cn/MESA_Platform/ssl] on branch [master|https://git.mesalab.cn/MESA_Platform/ssl/-/tree/master]:{quote}OMPUB-466: 增加SSL相应的测试用例{quote}
---
## Attachments
**27574/18-target.com.pcap**
---
**27641/app_sketch_maat.txt**
---
**28062/Bole+IGW++NPB1+application+drop+pkts.png**
---
**28067/Bole+IGW++NPB1+application+drop+pkts-1.png**
---
**27863/Bole+IGW++NPB1+DDOS+Bypass++connect.png**
---
**27862/Bole+IGW++NPB1+new+connect.png**
---
**28063/Bole+IGW++NPB2+application+drop+pkts.png**
---
**28068/Bole+IGW++NPB2+application+drop+pkts-1.png**
---
**27865/Bole+IGW++NPB2+DDOS+Bypass++connect.png**
---
**27864/Bole+IGW++NPB2+new+connect.png**
---
**28064/Bole+IGW++NPB3+application+drop+pkts.png**
---
**28069/Bole+IGW++NPB3+application+drop+pkts-1.png**
---
**27867/Bole+IGW++NPB3+DDOS+Bypass++connect.png**
---
**27866/Bole+IGW++NPB3+new+connect.png**
---
**28065/Bole+IGW++NPB4+application+drop+pkts.png**
---
**28070/Bole+IGW++NPB4+application+drop+pkts-1.png**
---
**28268/Bole+IGW+NPB5+all+cpu+20220526.png**
---
**28066/Bole+IGW++NPB5+application+drop+pkts.png**
---
**28071/Bole+IGW++NPB5+application+drop+pkts-1.png**
---
**27980/Bole+IGW+NPB5+CPU+20220513.png**
---
**27978/Bole+IGW+NPB5+DDOS+bypass+20220513.png**
---
**27668/Bole+IGW+NPB5-http_domain_session.csv**
---
**27979/Bole+IGW+NPB5+new+connections+20220513.png**
---
**27976/Bole+IGW+NPB5+perf+top+cpu32+20220513.png**
---
**27975/Bole+IGW+NPB5+perf+top+cpu44+20220513.png**
---
**27977/Bole+IGW+NPB5+perf+top+cpu44+20220513-1.png**
---
**28269/Bole+IGW+NPB5+perf+top+cpu48+20220526.png**
---
**27669/Bole+IGW+NPB5-QUIC.SNI_session.csv**
---
**27670/Bole+IGW+NPB5-SSL.SNI_session.csv**
---
**27696/Bole+IGW+NPB5+sysinfo.log**
---
**27972/Bole+IGW+NPB5+throughtput+20220513.png**
---
**27750/E21-sapp-overload-protection-bypass-20220427~20220503.png**
---
**27643/e21-version-21.11-dup-fqdn-object.txt**
---
**27599/image-2022-04-27-17-12-00-094.png**
---
**27600/image-2022-04-27-17-14-25-901.png**
---
**27601/image-2022-04-27-17-15-02-774.png**
---
**27602/image-2022-04-27-17-17-32-639.png**
---
**27604/image-2022-04-27-17-18-43-458.png**
---
**27605/image-2022-04-27-17-19-09-881.png**
---
**27615/image-2022-04-27-17-35-20-050.png**
---
**27616/image-2022-04-27-17-36-03-049.png**
---
**27617/image-2022-04-27-17-53-42-859.png**
---
**27656/image-2022-04-28-15-43-09-227.png**
---
**27682/image-2022-04-29-09-44-38-025.png**
---
**27779/image-2022-05-06-18-15-08-649.png**
---
**27789/image-2022-05-07-16-12-05-474.png**
---
**28003/image-2022-05-16-15-32-36-510.png**
---
**28006/image-2022-05-16-15-33-27-227.png**
---
**28229/image-2022-05-24-17-06-33-618.png**
---
**28335/image-2022-05-31-09-44-22-020.png**
---
**28336/image-2022-05-31-09-45-23-952.png**
---
**28337/image-2022-05-31-09-46-02-588.png**
---
**28628/image-2022-06-10-15-36-23-768.png**
---
**28629/image-2022-06-10-15-37-33-666.png**
---
**28630/image-2022-06-10-15-38-10-175.png**
---
**27660/L7protocal_sessions-all-NPB.csv**
---
**27661/L7protocal_sessions-all-NPB-new.csv**
---
**27662/L7protocal_sessions-Bole+IGW+NPB2.csv**
---
**27663/L7protocal_sessions-Bole+IGW+NPB5.csv**
---
**27664/L7protocol_sessions-Bole+IGW+NPB5.pdf**
---
**27665/L7protocol_ssesion-all-NPB.pdf**
---
**27666/L7protocol_ssesion-Bole+IGW+NPB2.pdf**
---
**27606/perf.svg**
---
**27607/perf33.svg**
---
**27610/perf33-1.svg**
---
**27608/perf37.svg**
---
**27609/perf40.svg**
---
**27544/securityEvents-target.xlsx**
---
**27613/sessionRecords-deny-target.com-failed.xlsx**
---
**27543/sessionRecords+-target-clientip.xlsx**
---
**27614/target.com-196.188.136.150-151.101.2.187.443.pcap**
---
**27642/tsg_static_maat.txt**
---
**27720/XJ-192.175-app_sketch_maat.txt**
---
**27716/XJ-192.175-app-maat.png**
---
**27712/XJ-192.175-monit_device.png**
---
**27723/XJ-192.175-perf-cpu-6.svg**
---
**27717/XJ-192.175-perf-top-cpu6.png**
---
**27714/XJ-192.175-sysinfo.png**
---
**27718/XJ-192.175-sysinfo.txt**
---
**27713/XJ-192.175-top-all-cpu.png**
---
**27719/XJ-192.175-tsg_static_maat.txt**
---
**27715/XJ-192.175-tsg-maat.png**
---
**27742/XXG-40.82-load-app-maat-all-cpu.png**
---
**27745/XXG-40.82-load-app-maat-new-link.png**
---
**27743/XXG-40.82-load-app-maat-perf-top-cpu14.png**
---
**27744/XXG-40.82-load-app-maat-sysinfo.txt**
---
**27746/XXG-40.82-no-app-maat--all-cpu.png**
---
**27748/XXG-40.82-no-app-maat-new-link.png**
---
**27747/XXG-40.82-no-app-maat-perf-top-cpu14.png**
---
**27749/XXG-40.82-no-app-maat-sysinfo.txt**
---
**28933/XXG-9140.sapp.bypass.png**
---
**27547/微信图片_20220426170327.png**
---
**27546/微信图片_20220426170336.png**
---
**27545/微信图片_20220426170342.png**
---
**27549/微信图片_20220426170353.png**
---
**27548/微信图片_20220426170400-1.png**
---
**27551/微信图片_20220426170415.png**
---
**27550/微信图片_20220426170429.png**
---
**27555/微信图片_20220426170433.png**
---
**27554/微信图片_20220426170438.png**
---
**27553/微信图片_20220426170442.png**
---
**27552/微信图片_20220426170446.png**
---
Reference in New Issue Copy Permalink