135 lines
3.7 KiB
Markdown
135 lines
3.7 KiB
Markdown
# 【E21现场】TSG系统会话日志查询及导出超时报错
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-1058 | 2023-11-10T14:50:31.000+0800 | 戚岱杰 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
No description
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-11-14T11:05:43.704+0800*:
|
||
|
||
查询超时的原因为Clickhouse节点IO较高，无法在界面超时（2分钟）内完成数据查询。
|
||
|
||
|
||
|
||
现场情况：
|
||
* 升级2307版本后，session原始日志量未有较大变动，但分中心ETL程序优化，汇聚到国家中心的日志量增加25%左右；Clickhouse数据写入的量也随之增加。
|
||
* 针对session日志，创建三张子表用于对高基数字段建立二级索引，减少查询时直接加载数据的IO。（以空间换取时间）
|
||
** 子表的数据量与session日志相同，表字段比其少；三张子表存储总和是session日志的一半。
|
||
* ETL程序存在BUG，未将标记为disable的字段移除，该类字段任在持续写入且占用空间较大，例如common_address_list。
|
||
|
||
|
||
|
||
综合以上情况通过以下方式减少Clickhouse节点使用的IO：
|
||
# 关闭查询网关子表查询优化。
|
||
# 修复ETL程序BUG，减少单条日志大小。
|
||
# 修改Gohangout入库批量大小。
|
||
## 避免所有节点在同一时刻写入数据。
|
||
## 减少Clickhouse数据块合并时间。
|
||
# 关闭session日志子表数据入库。
|
||
|
||
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-11-15T15:24:36.710+0800*:
|
||
|
||
目前已进行操作：
|
||
* 关闭查询网关子表查询优化。
|
||
** 修改后查询24小时日志详情展示正常，其余任超时。
|
||
* 修复了分中心ETL程序未将标记为disable的字段移除的BUG，减少单条日志的大小。
|
||
** 修复后session日志，每台Clickhouse节点每天的存储量减少了1/10左右。
|
||
* 修改Gohangout 会话日志入库批量减少至10万，入库线程数减少至1。
|
||
** 该操作可使数据入库操作更频繁，避免所有节点在同一时刻写入数据。
|
||
|
||
|
||
|
||
---
|
||
|
||
**heyong** commented on *2023-11-16T19:42:47.393+0800*:
|
||
|
||
目前TSG系统session日志，
|
||
|
||
不加过滤条件，进行24小时以上的会话日志查询，出现日志详情正常显示，导出功能正常，但柱状图无法显示情况，异常现象见图片 “24小时会话日志.png“
|
||
|
||
添加限制条件查询72小时会话日志，志详情正常显示，导出功能正常，柱状图显示正常。
|
||
|
||
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-11-24T19:09:30.917+0800*:
|
||
|
||
现场Clickhouse session日志子表操作描述：
|
||
* 2023.11.17 关闭子表session_record_http_domain数据写入。
|
||
* 2023.11.21 关闭子表session_record_server_domain数据写入。
|
||
* 2023.11.23 关闭子表session_record_common_server_ip数据写入。
|
||
* 2023.11.24 关闭子表session_record_common_client_ip数据写入。
|
||
|
||
|
||
|
||
综合以上操作，关闭以上四个子表同步数据视图后：
|
||
* IO使用率平均下降约20%左右。
|
||
* 单台服务器，磁盘平均写入数据由100MB/s下降为50MB/s。
|
||
* 24小时日志明细查询由140s减少至70s左右，较优化前提升近一倍查询性能。
|
||
|
||
|
||
|
||
目前TSG界面现状：
|
||
# 最近24小时会话日志查询、导出均正常，日志明细可导出72小时日志。
|
||
# 日志界面查询最近24/48小时均正常。
|
||
|
||
|
||
|
||
暂时关闭该bug，后续持续追踪。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**47458/24小时会话日志.png**
|
||
|
||
---
|
||
|
||
**47294/clickhouse升级前后IO对比.png**
|
||
|
||
---
|
||
|
||
**47295/clickhouse升级前后数据写入对比.png**
|
||
|
||
---
|
||
|
||
**47303/会话日志量趋势.png**
|
||
|
||
---
|
||
|
||
**47149/微信图片_20231110094821.png**
|
||
|
||
---
|
||
|
||
**47148/微信图片_20231110094829.png**
|
||
|
||
---
|
||
|
||
**47147/微信图片_20231110094837.png**
|
||
|
||
---
|
||
|
||
**47146/微信图片_20231110094845.png**
|
||
|
||
---
|
||
|