91 lines
2.8 KiB
Markdown
91 lines
2.8 KiB
Markdown
|
# 福建项目：泉州OLAP集群调整
|
|||
|
|
|
|||
|
|
| ID | Creation Date | Assignee | Status |
|
|||
|
|
|----|----------------|----------|--------|
|
|||
|
|
| OMPUB-402 | 2022-03-07T11:42:27.000+0800 | 戚岱杰 | 完成 |
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
泉州OLAP集群有几台机器资源处于高度空闲状态，用户想增加日志量，希望增加复用，然空闲资源能灵活的运用起来。
|
|||
|
|
|
|||
|
|
1、192.168.10.3-5的zookeeper和nacos能不能通过虚拟机进行资源隔离；
|
|||
|
|
|
|||
|
|
2、192.168.10.1-2两台还有增加复用的空间吗？；
|
|||
|
|
|
|||
|
|
3、泉州OLAP集群这14台服务器都是双盘结构，即有一组SSD的RAID1（操作系统在上面），和一组HDD的RAID5（目前数据盘），看能否使用双盘进行优化；
|
|||
|
|
|
|||
|
|
附件是资源统计情况
|
|||
|
|
|
|||
|
|
**doufenghu** commented on *2022-03-07T17:11:55.308+0800*:
|
|||
|
|
|
|||
|
|
日志服务器当前主要分配：组件编排，实时计算 ，存储分析。
|
|||
|
|
|
|||
|
|
在未知峰值流量或日志量情况下，按照IO/CPU/内存密集型原则进行分配。
|
|||
|
|
|
|||
|
|
问题1： 组件编排，为大数据中枢节点，属于核心组件(包括CM）进行状态同步和配置分发。随机IO密集型，对网络时延较敏感，建议做相应的物理隔离，需要考虑HA 和后续扩容。
|
|||
|
|
|
|||
|
|
问题2，3 复用或使用冷热盘结构，讨论下，按照实际负载流量或当前服务器最大处理日志量估算决定复用方式吧？[~zhangzhihan]
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**liuyang** commented on *2022-03-09T11:04:32.437+0800*:
|
|||
|
|
|
|||
|
|
背景：目前泉州OLAP集群部分服务器资源有空闲，用户希望能够充分利用服务器资源优化性能。但是没有明确优化方向；
|
|||
|
|
|
|||
|
|
本次优化目标：和 [~zhangzhihan] [~doufenghu] 讨论，本次主要针对OMPUB-357clink house查询日志速度进行优化；
|
|||
|
|
|
|||
|
|
具体操作：麻烦 [~doufenghu] 根据服务器资源使用情况，给出优化方案；
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**zhangzhihan** commented on *2022-03-09T11:20:25.390+0800*:
|
|||
|
|
|
|||
|
|
按照昨天讨论结果，预处理部分不改动，只排查解决问题。存储部分增加节点（具体是再10.1，2上增加，还是10.3-5上增加，需[~doufenghu]帮忙确认）
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**doufenghu** commented on *2022-03-09T19:43:05.601+0800*:
|
|||
|
|
|
|||
|
|
扩容10.1-2为ClickHouse，其它服务器暂不更改。[~qidaijie] 提供下ClickHouse扩容文档。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**zhangzhihan** commented on *2022-05-16T11:35:33.078+0800*:
|
|||
|
|
|
|||
|
|
用户已将 泉州OLAP集群 中需要的数据备份，并最终确定，该集群相关服务器可以重做操作系统，重新部署OLAP集群
|
|||
|
|
现需要重新规划该集群部署方案，链接https://docs.geedge.net/pages/viewpage.action?pageId=67216190
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**qidaijie** commented on *2022-05-30T11:46:30.276+0800*:
|
|||
|
|
|
|||
|
|
已完成泉州移动集群重新部署，版本22.01。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
## Attachments
|
|||
|
|
|
|||
|
|
**25885/后端服务器资源使用情况表.xlsx**
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|