80 lines
2.0 KiB
Markdown
80 lines
2.0 KiB
Markdown
# 江苏项目：因项目需要，OLAP需适配第三方Kafka
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-1187 | 2024-03-21T09:26:37.000+0800 | 戚岱杰 | 完成 |
|
||
|
||
|
||
---
|
||
|
||
根据2024.03.20与江苏管局的沟通结果，已基本确定江苏FZ项目后端集群建设方案，拓扑如下：
|
||
!image-2024-03-21-09-23-20-273.png|thumbnail!
|
||
|
||
需要研发支持：
|
||
1、TSG OLAP适配管局Kafka集群；
|
||
2、在CM的网络环境内再单独部署一个nacos、galaxy-qgw-service**zhangzhihan** commented on *2024-04-03T14:14:42.817+0800*:
|
||
|
||
目前江苏现场已和管局协调通，对方kafka同意接收json格式数据且使用明文，请研发指导工程部进行第三方kafka相关适配工作[~doufenghu]
|
||
|
||
|
||
|
||
---
|
||
|
||
**doufenghu** commented on *2024-04-07T08:56:23.251+0800*:
|
||
|
||
* 大数据平台需创建Topic，默认分区数量30：SESSION-RECORD ，SESSION-RECORD-PROCESSED
|
||
* 在OLAP ETL JOB 中配置大数据平台Kafka集群的访问地址，通过界面验证安全事件日志有输出结果
|
||
|
||
|
||
|
||
---
|
||
|
||
**zhangzhihan** commented on *2024-04-07T15:21:40.913+0800*:
|
||
|
||
TSG-OS与第三方Kafka已调通，相关信息如下：
|
||
|
||
Kafka IP地址：
|
||
10.10.120.70:9092
|
||
10.10.120.73:9092
|
||
10.10.120.76:9092
|
||
|
||
SASL认证开启：
|
||
username：gly_yz_fz
|
||
password：glyyzfz@0330
|
||
|
||
|
||
|
||
---
|
||
|
||
**zhangzhihan** commented on *2024-04-09T10:48:16.638+0800*:
|
||
|
||
因kafka消费机制问题（Kafka的消费机制中要选取consumer group的coordinator，coordinator由Kafka集群自动选出，如果分配了一个不通的节点，无法通信就无法正常消费），需要管局打开kafka集群全部节点的通信白名单。
|
||
另，管局kafka集群地址：10.10.120.67～82，10.10.120.90～103
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2024-04-09T15:36:27.919+0800*:
|
||
|
||
session日志已正常写入管局Clickhouse内，TSG界面可正常查询。
|
||
|
||
!SESSION日志截图.png|thumbnail!
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**54015/image-2024-03-21-09-23-20-273.png**
|
||
|
||
---
|
||
|
||
**54680/SESSION日志截图.png**
|
||
|
||
---
|
||
|