Files
geedge-jira/md/OMPUB-1034.md
2025-09-14 21:52:36 +00:00

1.2 KiB
Raw Blame History

整点时间之后5-10分钟TSG界面搜索慢

ID Creation Date Assignee Status
OMPUB-1034 2023-10-15T20:55:18.000+0800 戚岱杰 已解决

如题qidaijie commented on 2023-10-20T11:53:10.441+0800:

环境背景:

  • PoC环境为TSG OLAP与CN OLAP在相同物理服务器上分虚拟机混部CPU/内存资源隔离共用IO资源。
  • OLAP计算程序数据库等均混部在虚拟机上。

高峰期整点查询较慢的原因为:

  • TSG OLAP整点会调用IP Learning离线程序该程序会基于过去1小时的session日志进行学习。
  • TSG OLAP Druid程序整点会将过去1小时的数据落盘并重新构建实时任务。

 

上述会影响服务器资源,尤在流量高峰期(日志量6w/s流量平稳期2.5w/s)时数据入库会占用较多磁盘IO故查询时间与日志量、资源等呈相关关系。

 

后续讨论:

PoC等环境服务器规划时对IO密集型、CPU密集型组件进行物理隔离尽可能避免由于混部带来的资源抢占。

对任务调用方式和周期进行讨论,减少在某点集中调用使用大量的资源的问题。


Attachments