# 江苏项目：因项目需要，OLAP需适配第三方Kafka

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-1187 | 2024-03-21T09:26:37.000+0800 | 戚岱杰 | 完成 |


---

根据2024.03.20与江苏管局的沟通结果，已基本确定江苏FZ项目后端集群建设方案，拓扑如下：
 !image-2024-03-21-09-23-20-273.png|thumbnail! 

需要研发支持：
1、TSG OLAP适配管局Kafka集群；
2、在CM的网络环境内再单独部署一个nacos、galaxy-qgw-service**zhangzhihan** commented on *2024-04-03T14:14:42.817+0800*:

目前江苏现场已和管局协调通，对方kafka同意接收json格式数据且使用明文，请研发指导工程部进行第三方kafka相关适配工作[~doufenghu]



---

**doufenghu** commented on *2024-04-07T08:56:23.251+0800*:

* 大数据平台需创建Topic，默认分区数量30：SESSION-RECORD ，SESSION-RECORD-PROCESSED
 * 在OLAP ETL JOB 中配置大数据平台Kafka集群的访问地址，通过界面验证安全事件日志有输出结果



---

**zhangzhihan** commented on *2024-04-07T15:21:40.913+0800*:

TSG-OS与第三方Kafka已调通，相关信息如下：

Kafka IP地址：
10.10.120.70:9092
10.10.120.73:9092
10.10.120.76:9092

SASL认证开启：
username：gly_yz_fz
password：glyyzfz@0330



---

**zhangzhihan** commented on *2024-04-09T10:48:16.638+0800*:

因kafka消费机制问题（Kafka的消费机制中要选取consumer group的coordinator，coordinator由Kafka集群自动选出，如果分配了一个不通的节点，无法通信就无法正常消费），需要管局打开kafka集群全部节点的通信白名单。
另，管局kafka集群地址：10.10.120.67～82，10.10.120.90～103



---

**qidaijie** commented on *2024-04-09T15:36:27.919+0800*:

session日志已正常写入管局Clickhouse内，TSG界面可正常查询。

!SESSION日志截图.png|thumbnail!



---



# Attachments

Attachment: image-2024-03-21-09-23-20-273.png
![image-2024-03-21-09-23-20-273.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/54015/image-2024-03-21-09-23-20-273.png)



Attachment: SESSION日志截图.png
![SESSION日志截图.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/54680/SESSION日志截图.png)