【E21现场】TSG系统会话日志查询及导出超时报错

ID	Creation Date	Assignee	Status
OMPUB-1058	2023-11-10T14:50:31.000+0800	戚岱杰	已关闭

No description

qidaijie commented on 2023-11-14T11:05:43.704+0800:

查询超时的原因为Clickhouse节点IO较高，无法在界面超时（2分钟）内完成数据查询。

现场情况：

升级2307版本后，session原始日志量未有较大变动，但分中心ETL程序优化，汇聚到国家中心的日志量增加25%左右；Clickhouse数据写入的量也随之增加。
针对session日志，创建三张子表用于对高基数字段建立二级索引，减少查询时直接加载数据的IO。（以空间换取时间） ** 子表的数据量与session日志相同，表字段比其少；三张子表存储总和是session日志的一半。
ETL程序存在BUG，未将标记为disable的字段移除，该类字段任在持续写入且占用空间较大，例如common_address_list。

综合以上情况通过以下方式减少Clickhouse节点使用的IO：

关闭查询网关子表查询优化。

修复ETL程序BUG，减少单条日志大小。

修改Gohangout入库批量大小。

避免所有节点在同一时刻写入数据。

减少Clickhouse数据块合并时间。

关闭session日志子表数据入库。

qidaijie commented on 2023-11-15T15:24:36.710+0800:

目前已进行操作：

关闭查询网关子表查询优化。 ** 修改后查询24小时日志详情展示正常，其余任超时。
修复了分中心ETL程序未将标记为disable的字段移除的BUG，减少单条日志的大小。 ** 修复后session日志，每台Clickhouse节点每天的存储量减少了1/10左右。
修改Gohangout 会话日志入库批量减少至10万，入库线程数减少至1。 ** 该操作可使数据入库操作更频繁，避免所有节点在同一时刻写入数据。

heyong commented on 2023-11-16T19:42:47.393+0800:

目前TSG系统session日志，

不加过滤条件，进行24小时以上的会话日志查询，出现日志详情正常显示，导出功能正常，但柱状图无法显示情况，异常现象见图片 “24小时会话日志.png“

添加限制条件查询72小时会话日志，志详情正常显示，导出功能正常，柱状图显示正常。

qidaijie commented on 2023-11-24T19:09:30.917+0800:

现场Clickhouse session日志子表操作描述：

2023.11.17 关闭子表session_record_http_domain数据写入。
2023.11.21 关闭子表session_record_server_domain数据写入。
2023.11.23 关闭子表session_record_common_server_ip数据写入。
2023.11.24 关闭子表session_record_common_client_ip数据写入。

综合以上操作，关闭以上四个子表同步数据视图后：

IO使用率平均下降约20%左右。
单台服务器，磁盘平均写入数据由100MB/s下降为50MB/s。
24小时日志明细查询由140s减少至70s左右，较优化前提升近一倍查询性能。

目前TSG界面现状：

最近24小时会话日志查询、导出均正常，日志明细可导出72小时日志。

日志界面查询最近24/48小时均正常。

暂时关闭该bug，后续持续追踪。

Attachments

47458/24小时会话日志.png

47294/clickhouse升级前后IO对比.png

47295/clickhouse升级前后数据写入对比.png

47303/会话日志量趋势.png

47149/微信图片_20231110094821.png

47148/微信图片_20231110094829.png

47147/微信图片_20231110094837.png

47146/微信图片_20231110094845.png

3.7 KiB Raw Blame History Unescape Escape