2.2 KiB
2.2 KiB
【E21现场】CN自动学习的psiphon3 server ip写入TSG失败
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-921 | 2023-05-12T15:47:21.000+0800 | 刘洋 | 已关闭 |
2023.5.10 16:12:00左右用户反馈，dynamic_psiphon_ip日常（或者说15:00:00查询到的IP量）是7w左右的IP量，现在只有5.4w左右，IP数量降低，且dynamic_psiphon_ip更新时间仍然一直显示是15:00：00，要求排查原因。 背景：当天用户在界面发现以前策略创建的object要求删除。 !dynamic_psiphon_ip.png|thumbnail!liuyang commented on 2023-05-12T15:54:09.134+0800:
CN程序排查：
- vpn-thwarting程序每1小时调用CM的API接口向dynamic_psiphon_ip对象中推送item，但是16:12左右发现该IP Object最新更新时间是15:00，而不是预期的16:00，猜测最新一次新增失败。
- 查看程序本地日志发现最新一次（16:00:00）调用API新增IP失败，报错：Policy object configuration update failed：Internal Server Error
- !CN本地日志报错.png|thumbnail!
liuyang commented on 2023-05-12T15:56:54.741+0800:
CM程序排查：
- 原因：根据/data/tsg-2211/cm/api/logs日志发现：16:00左右 API接收到三次请求： 界面Object删除，CN删除IPs，CN新增IPs，并发更新数据期间遇到数据库锁竞争，其中CN请求新增IPs的事务锁竞争失败回滚。
- 解决：数据库事务执行完毕后自行释放锁
liuyang commented on 2023-05-12T15:59:38.893+0800:
现场17:00左右查询数据库锁释放，object更新恢复正常。 预计object item数量应该是在昨天晚上现场时间20:00之后恢复，2023.5.11验证该object中ip数量为72874，恢复正常
zhangwei commented on 2023-05-26T16:50:33.926+0800:
后期的优化方案：参见 OMPUB-922 评论
Attachments
Attachment: CN本地日志报错.png
Attachment: dynamic_psiphon_ip.png
