2.2 KiB
江苏项目：工联院希望在南京管局TSG测试环境上使用Real-Time Log Streaming功能向第三方发送日志
| ID | Creation Date | Assignee | Status |
|---|---|---|---|
| OMPUB-1011 | 2023-08-24T15:12:38.000+0800 | 刘洋 | 完成 |
南京有个与工联院合作的第三方厂商，希望从TSG平台获取日志。沟通后，对方接受以kafka to kafka的方式对接日志，即使用TSG的Real-Time Log Streaming功能。 目前计划下周工程部[~yangyang]前往南京，将南京TSG测试环境升级至TSG v22.11-LTS，再部署Real-Time Log Streaming程序。 申请研发同事提供Real-Time Log Streaming相关技术支持，另外还需要提供Topic结构文档给对方。
说明：由于南京设备性能有限，我们不准备将全量日志发送给对方，目前已建议工联与筛选日志字段后我们传输，筛选结果待定中。liuyang commented on 2023-08-27T12:53:38.651+0800:
OLAP支持将指定日志字段从过kafka发给第三方kafka，不需要单独部署程序。只需要根据如下信息进行配置：
- 第三方kafka地址
- 第三方需要的日志类型和字段
yangyang commented on 2023-09-13T16:12:44.199+0800:
目前南京TSG环境版本为23.07，现在第三方提供的信息如下：
第三方kafka的ip：
10.10.120.6:9290,10.10.120.7:9290,10.10.120.9:9290
第三方kafka topic：
t_gly_kjllfx_log
需要发送的日志协议如下：
common
zhangzhihan commented on 2023-09-15T10:54:24.941+0800:
经协商，最终采用通过Kafka传送JSON的方式向第三方厂商提供TSG Session Record中Commn相关日志数据。 南京管局要求提供数据的厂商同时提供建表语句，用于第三方厂商将数据入到管局的Hive库，麻烦[~doufenghu]提供支持。建表语句模板如下： !screenshot-1.png|thumbnail!
Attachments
Attachment: 23.07hive_session_record_create.sql
23.07hive_session_record_create.sql
Attachment: screenshot-1.png
