4.1 KiB
【E21现场】OLAP在升级23.07版本后，部分Clickhouse服务器使用率超80%
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1031 | 2023-10-12T21:13:20.000+0800 | 戚岱杰 | 已解决 |
OLAP在升级23.07版本后，Clickhouse服务器Server43、Server44、Server47、Server48、Server49的/data目录使用率超过80%，其余Clickhouse服务器/data使用率为40%--60%。qidaijie commented on 2023-10-13T10:07:40.880+0800:
现场排查：
数据情况：
Server35/36为Query节点，不存储数据，因此磁盘使用率较低。
对比存储配额趋势图，较升级前（2023-10-06）每天多3TB左右的数据。
其原因为22.11版本分中心ETL汇聚存在丢日志的情况，升级23.07后程序优化，除夜间最高峰时期（总量85w/s）会存在3-5%的日志丢失，其余时间均正常。
!存储配额趋势图.png|thumbnail!!日志量（总量）.png|thumbnail!
存储配置情况：
现场存储配额：
Max Days设置为40天。
Security Events表TTL为40天，其余为30天，原因参考：OMPUB-860
对比Clickhouse表数据块时间：
Server43/44/47/48/49异常节点数据范围均为40天。
!异常节点数据片时间图.png|thumbnail!
对比Server37/38正常节点，session_record表数据范围为30天，security_event表数据范围为40天。
!正常节点数据片时间图.png|thumbnail!
通过Clickhouse查询表信息，Server43/44/47/48/49 session_record表均携带30天的TTL配置，参考：[^query.desc.session_record_local.txt]
综上，怀疑为表TTL在部分节点未成功删除数据。
qidaijie commented on 2023-10-13T17:50:41.508+0800:
目前已确认为Server43/44/47/48/49服务器Clickhouse未执行TTL，因TTL功能为组件自控制，未执行原因待后续继续排查，任务暂降级为Medium。
临时处置方式：通过手动触发的方式将Server43/44/47/48/49服务器session_record表，超过TTL配置时间（30天）的数据删除。
qidaijie commented on 2023-11-03T11:08:21.022+0800:
经过近期对比排查：
- 选取Server 43节点进行手动触发 session_record表单分区 的TTL操作，执行后该节点session_record表恢复TTL功能。 ** 后对Server 44节点进行上述重复操作，未恢复。
- 异常Clickhouse节点{}也在执行TTL删除操作{}，但比其他正常节点慢，且{}无法完全删除{}全部的过期数据。 ** 例如：有300GB的文件需要删除，只删除了200GB。
- 整体观察Clickhouse集群数据节点，每个节点的数据摄入量、Merge频率没有较大差异。
后续继续排查，以及确认是否为Clickhouse TTL机制存在相关BUG。
qidaijie commented on 2023-11-24T19:13:29.431+0800:
目前现场保留Server 47和Server 49两个节点持续观察，其余节点TTL功能均已恢复正常。
qidaijie commented on 2024-01-04T10:05:56.047+0800:
后经过测试已复现该问题，为Clickhouse 21.x版本BUG，详细内容见：[Clickhouse TTL失效问题排查|https://docs.geedge.net/pages/viewpage.action?pageId=124752639]
qidaijie commented on 2024-02-22T11:28:20.154+0800:
后续操作：在NZ → Componet Status → Clickhouse Status中增加了未删除数据块个数相关监控图表，如图：
!TTL监控.png|thumbnail!
目前情况：Clickhouse节点使用率基本保持在35%左右，保留的Server 47和Server 49两个节点在50%左右，如下图：
!CK磁盘使用率-20240221.png|thumbnail!
由于该问题是由Clickhouse 21.x版本BUG引起，需升级版本解决；目前磁盘使用率相对较低，流量稳定的情况下使用率将维持在这个范围；暂将bug状态改为持续追踪状态。
Attachments
51963/CK磁盘使用率-20240221.png
45812/query.desc.session_record_local.txt
45799/sdb1.jpg
51962/TTL监控.png
45809/存储配额趋势图.png
45811/日志量（总量）.png
45810/异常节点数据片时间图.png
45813/正常节点数据片时间图.png