# 【E21现场】出现几分钟系统session records日志无法搜索展示出任何数据。 | ID | Creation Date | Assignee | Status | |----|----------------|----------|--------| | OMPUB-758 | 2022-12-28T20:59:01.000+0800 | 戚岱杰 | 已关闭 | --- 在2022-12-28 11:30:00左右，在使用tsg系统查询session records，出现几分钟系统session records日志无法搜索展示出任何数据。（见附件） 同时NZ系统上出现多台OLAP服务器OLAP High Memory Usage > 80%告警消息。（告警消息详情已导出见附件）**qidaijie** commented on *2022-12-30T10:36:59.431+0800*: *情况描述：* 经描述当地时间11点出现日志查询超时现象，从监控Dashboard出现ClickHouse节点内存告警持续20分钟左右；11.38和11.40节点先后分别重启。 参考图：Clickhouse宕机记录/Clickhouse内存告警   *问题排查：* # 查看Clickhouse系统记录，11点离线任务（IP Learning）程序运行（每小时执行一次），在同一时刻并行执行了20个左右的查询，每个查询内存占用在5-20G左右，磁盘IO使用率增加至60%左右，11.38/40使用率到100%。 ## 参考图：Clickhouse资源-1 2 3/11.38查询日志/11.40查询日志 # 同时GoHangout 日志加载执行时间变长，大约3～10分钟，正常执行时间在20-40秒左右；过长的执行时间，导致Gohangout使用内存增加到近总内存的50%。 ## 参考图：异常时Gohangout资源/当天下午gohangout资源/第二日gohangout资源 # 拨测过程中，字段发现3个小时范围的聚合统计慢查询（大约50亿） 综合上述情况，OLAP 受到ClickHouse与Gohangout 混合部署影响，并且在同一时刻骤增多条慢SQL查询，导致服务器瞬时资源负载过高，影响整体的查询操作体验或查询超时现象。   *问题处理：* 该issue未干预情况下，待慢查询结束后，系统恢复正常。后续综合分析慢查询SQL，采取限制并发查询数量，同时优化IP Learning 调度频率。 --- **qidaijie** commented on *2023-02-17T13:57:21.436+0800*: 补充慢查询详细SQL：[^慢查询详细SQL内容.txt] --- **liuju** commented on *2023-02-21T14:50:09.909+0800*: 目前暂未再复现该情况。 --- # Attachments Attachment: 11.38查询日志.png ![11.38查询日志.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33975/11.38查询日志.png) Attachment: 11.40查询日志.png ![11.40查询日志.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33976/11.40查询日志.png) Attachment: alert-message-2022-12-28+11-33-05.xlsx [alert-message-2022-12-28+11-33-05.xlsx](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33955/alert-message-2022-12-28+11-33-05.xlsx) Attachment: Clickhouse内存告警.png ![Clickhouse内存告警.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33978/Clickhouse内存告警.png) Attachment: Clickhouse资源-1.png ![Clickhouse资源-1.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33979/Clickhouse资源-1.png) Attachment: Clickhouse资源-2.png ![Clickhouse资源-2.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33980/Clickhouse资源-2.png) Attachment: Clickhouse资源-3.png ![Clickhouse资源-3.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33981/Clickhouse资源-3.png) Attachment: Clickhouse宕机记录.png ![Clickhouse宕机记录.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33977/Clickhouse宕机记录.png) Attachment: 当天下午gohangout资源.png ![当天下午gohangout资源.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33985/当天下午gohangout资源.png) Attachment: 第二日gohangout资源.png ![第二日gohangout资源.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33982/第二日gohangout资源.png) Attachment: 慢查询详细SQL内容.txt [慢查询详细SQL内容.txt](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/35251/慢查询详细SQL内容.txt) Attachment: 微信图片_20221228155321.png ![微信图片_20221228155321.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33956/微信图片_20221228155321.png) Attachment: 微信图片_20221228155327.png ![微信图片_20221228155327.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33957/微信图片_20221228155327.png) Attachment: 微信图片_20221228155334.png ![微信图片_20221228155334.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33958/微信图片_20221228155334.png) Attachment: 微信图片_20221228155337.png ![微信图片_20221228155337.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33959/微信图片_20221228155337.png) Attachment: 异常时Gohangout资源.png ![异常时Gohangout资源.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/33984/异常时Gohangout资源.png)