2.0 KiB
江苏项目：因项目需要，OLAP需适配第三方Kafka
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1187 | 2024-03-21T09:26:37.000+0800 | 戚岱杰 | 完成 |
根据2024.03.20与江苏管局的沟通结果，已基本确定江苏FZ项目后端集群建设方案，拓扑如下： !image-2024-03-21-09-23-20-273.png|thumbnail!
需要研发支持： 1、TSG OLAP适配管局Kafka集群； 2、在CM的网络环境内再单独部署一个nacos、galaxy-qgw-servicezhangzhihan commented on 2024-04-03T14:14:42.817+0800:
目前江苏现场已和管局协调通，对方kafka同意接收json格式数据且使用明文，请研发指导工程部进行第三方kafka相关适配工作[~doufenghu]
doufenghu commented on 2024-04-07T08:56:23.251+0800:
- 大数据平台需创建Topic，默认分区数量30：SESSION-RECORD ，SESSION-RECORD-PROCESSED
- 在OLAP ETL JOB 中配置大数据平台Kafka集群的访问地址，通过界面验证安全事件日志有输出结果
zhangzhihan commented on 2024-04-07T15:21:40.913+0800:
TSG-OS与第三方Kafka已调通，相关信息如下：
Kafka IP地址： 10.10.120.70:9092 10.10.120.73:9092 10.10.120.76:9092
SASL认证开启： username：gly_yz_fz password：glyyzfz@0330
zhangzhihan commented on 2024-04-09T10:48:16.638+0800:
因kafka消费机制问题（Kafka的消费机制中要选取consumer group的coordinator，coordinator由Kafka集群自动选出，如果分配了一个不通的节点，无法通信就无法正常消费），需要管局打开kafka集群全部节点的通信白名单。 另，管局kafka集群地址：10.10.120.67～82，10.10.120.90～103
qidaijie commented on 2024-04-09T15:36:27.919+0800:
session日志已正常写入管局Clickhouse内，TSG界面可正常查询。
!SESSION日志截图.png|thumbnail!
Attachments
54015/image-2024-03-21-09-23-20-273.png
54680/SESSION日志截图.png