126 lines
2.9 KiB
Markdown
126 lines
2.9 KiB
Markdown
# 【E21现场】出现几分钟系统session records日志无法搜索展示出任何数据。
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-758 | 2022-12-28T20:59:01.000+0800 | 戚岱杰 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
在2022-12-28 11:30:00左右，在使用tsg系统查询session records，出现几分钟系统session records日志无法搜索展示出任何数据。（见附件）
|
||
|
||
同时NZ系统上出现多台OLAP服务器OLAP High Memory Usage > 80%告警消息。（告警消息详情已导出见附件）**qidaijie** commented on *2022-12-30T10:36:59.431+0800*:
|
||
|
||
*情况描述：*
|
||
|
||
经描述当地时间11点出现日志查询超时现象，从监控Dashboard出现ClickHouse节点内存告警持续20分钟左右；11.38和11.40节点先后分别重启。
|
||
|
||
参考图：Clickhouse宕机记录/Clickhouse内存告警
|
||
|
||
|
||
|
||
*问题排查：*
|
||
# 查看Clickhouse系统记录，11点离线任务（IP Learning）程序运行（每小时执行一次），在同一时刻并行执行了20个左右的查询，每个查询内存占用在5-20G左右，磁盘IO使用率增加至60%左右，11.38/40使用率到100%。
|
||
## 参考图：Clickhouse资源-1 2 3/11.38查询日志/11.40查询日志
|
||
# 同时GoHangout 日志加载执行时间变长，大约3～10分钟，正常执行时间在20-40秒左右；过长的执行时间，导致Gohangout使用内存增加到近总内存的50%。
|
||
## 参考图：异常时Gohangout资源/当天下午gohangout资源/第二日gohangout资源
|
||
|
||
# 拨测过程中，字段发现3个小时范围的聚合统计慢查询（大约50亿）
|
||
|
||
综合上述情况，OLAP 受到ClickHouse与Gohangout 混合部署影响，并且在同一时刻骤增多条慢SQL查询，导致服务器瞬时资源负载过高，影响整体的查询操作体验或查询超时现象。
|
||
|
||
|
||
|
||
*问题处理：*
|
||
|
||
该issue未干预情况下，待慢查询结束后，系统恢复正常。后续综合分析慢查询SQL，采取限制并发查询数量，同时优化IP Learning 调度频率。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-02-17T13:57:21.436+0800*:
|
||
|
||
补充慢查询详细SQL：[^慢查询详细SQL内容.txt]
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuju** commented on *2023-02-21T14:50:09.909+0800*:
|
||
|
||
目前暂未再复现该情况。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**33975/11.38查询日志.png**
|
||
|
||
---
|
||
|
||
**33976/11.40查询日志.png**
|
||
|
||
---
|
||
|
||
**33955/alert-message-2022-12-28+11-33-05.xlsx**
|
||
|
||
---
|
||
|
||
**33978/Clickhouse内存告警.png**
|
||
|
||
---
|
||
|
||
**33979/Clickhouse资源-1.png**
|
||
|
||
---
|
||
|
||
**33980/Clickhouse资源-2.png**
|
||
|
||
---
|
||
|
||
**33981/Clickhouse资源-3.png**
|
||
|
||
---
|
||
|
||
**33977/Clickhouse宕机记录.png**
|
||
|
||
---
|
||
|
||
**33985/当天下午gohangout资源.png**
|
||
|
||
---
|
||
|
||
**33982/第二日gohangout资源.png**
|
||
|
||
---
|
||
|
||
**35251/慢查询详细SQL内容.txt**
|
||
|
||
---
|
||
|
||
**33956/微信图片_20221228155321.png**
|
||
|
||
---
|
||
|
||
**33957/微信图片_20221228155327.png**
|
||
|
||
---
|
||
|
||
**33958/微信图片_20221228155334.png**
|
||
|
||
---
|
||
|
||
**33959/微信图片_20221228155337.png**
|
||
|
||
---
|
||
|
||
**33984/异常时Gohangout资源.png**
|
||
|
||
---
|
||
|