136 lines
4.1 KiB
Markdown
136 lines
4.1 KiB
Markdown
# 【E21现场】OLAP在升级23.07版本后，部分Clickhouse服务器使用率超80%
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-1031 | 2023-10-12T21:13:20.000+0800 | 戚岱杰 | 已解决 |
|
||
|
||
|
||
---
|
||
|
||
OLAP在升级23.07版本后，Clickhouse服务器Server43、Server44、Server47、Server48、Server49的/data目录使用率超过80%，其余Clickhouse服务器/data使用率为40%--60%。**qidaijie** commented on *2023-10-13T10:07:40.880+0800*:
|
||
|
||
现场排查：
|
||
# 数据情况：
|
||
## Server35/36为Query节点，不存储数据，因此磁盘使用率较低。
|
||
## 对比存储配额趋势图，较升级前（2023-10-06）每天多3TB左右的数据。
|
||
### 其原因为22.11版本分中心ETL汇聚存在丢日志的情况，升级23.07后程序优化，除夜间最高峰时期（总量85w/s）会存在3-5%的日志丢失，其余时间均正常。
|
||
### !存储配额趋势图.png|thumbnail!!日志量（总量）.png|thumbnail!
|
||
# 存储配置情况：
|
||
## 现场存储配额：
|
||
### Max Days设置为40天。
|
||
### Security Events表TTL为40天，其余为30天，原因参考：OMPUB-860
|
||
## 对比Clickhouse表数据块时间：
|
||
### Server43/44/47/48/49异常节点数据范围均为40天。
|
||
#### !异常节点数据片时间图.png|thumbnail!
|
||
### 对比Server37/38正常节点，session_record表数据范围为30天，security_event表数据范围为40天。
|
||
#### !正常节点数据片时间图.png|thumbnail!
|
||
## 通过Clickhouse查询表信息，Server43/44/47/48/49 session_record表均携带30天的TTL配置，参考：[^query.desc.session_record_local.txt]
|
||
|
||
|
||
|
||
综上，怀疑为表TTL在部分节点未成功删除数据。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-10-13T17:50:41.508+0800*:
|
||
|
||
目前已确认为Server43/44/47/48/49服务器Clickhouse未执行TTL，因TTL功能为组件自控制，未执行原因待后续继续排查，任务暂降级为Medium。
|
||
|
||
|
||
|
||
临时处置方式：通过手动触发的方式将Server43/44/47/48/49服务器session_record表，超过TTL配置时间（30天）的数据删除。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-11-03T11:08:21.022+0800*:
|
||
|
||
经过近期对比排查：
|
||
* 选取Server 43节点进行手动触发 *session_record表单分区* 的TTL操作，执行后该节点session_record表恢复TTL功能。
|
||
** 后对Server 44节点进行上述重复操作，未恢复。
|
||
* 异常Clickhouse节点{*}也在执行TTL删除操作{*}，但比其他正常节点慢，且{*}无法完全删除{*}全部的过期数据。
|
||
** 例如：有300GB的文件需要删除，只删除了200GB。
|
||
* 整体观察Clickhouse集群数据节点，每个节点的数据摄入量、Merge频率没有较大差异。
|
||
|
||
后续继续排查，以及确认是否为Clickhouse TTL机制存在相关BUG。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2023-11-24T19:13:29.431+0800*:
|
||
|
||
目前现场保留Server 47和Server 49两个节点持续观察，其余节点TTL功能均已恢复正常。
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2024-01-04T10:05:56.047+0800*:
|
||
|
||
后经过测试已复现该问题，为Clickhouse 21.x版本BUG，详细内容见：[Clickhouse TTL失效问题排查|https://docs.geedge.net/pages/viewpage.action?pageId=124752639]
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2024-02-22T11:28:20.154+0800*:
|
||
|
||
后续操作：在NZ → Componet Status → Clickhouse Status中增加了未删除数据块个数相关监控图表，如图：
|
||
|
||
!TTL监控.png|thumbnail!
|
||
|
||
|
||
|
||
目前情况：Clickhouse节点使用率基本保持在35%左右，保留的Server 47和Server 49两个节点在50%左右，如下图：
|
||
|
||
!CK磁盘使用率-20240221.png|thumbnail!
|
||
|
||
|
||
|
||
由于该问题是由Clickhouse 21.x版本BUG引起，需升级版本解决；目前磁盘使用率相对较低，流量稳定的情况下使用率将维持在这个范围；暂将bug状态改为持续追踪状态。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**51963/CK磁盘使用率-20240221.png**
|
||
|
||
---
|
||
|
||
**45812/query.desc.session_record_local.txt**
|
||
|
||
---
|
||
|
||
**45799/sdb1.jpg**
|
||
|
||
---
|
||
|
||
**51962/TTL监控.png**
|
||
|
||
---
|
||
|
||
**45809/存储配额趋势图.png**
|
||
|
||
---
|
||
|
||
**45811/日志量（总量）.png**
|
||
|
||
---
|
||
|
||
**45810/异常节点数据片时间图.png**
|
||
|
||
---
|
||
|
||
**45813/正常节点数据片时间图.png**
|
||
|
||
---
|
||
|