geedge-jira/md/OMPUB-1011.md

# 江苏项目：工联院希望在南京管局TSG测试环境上使用Real-Time Log Streaming功能向第三方发送日志

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-1011 | 2023-08-24T15:12:38.000+0800 | 刘洋 | 完成 |


---

南京有个与工联院合作的第三方厂商，希望从TSG平台获取日志。沟通后，对方接受以kafka to kafka的方式对接日志，即使用TSG的Real-Time Log Streaming功能。
目前计划下周工程部[~yangyang]前往南京，将南京TSG测试环境升级至TSG v22.11-LTS，再部署Real-Time Log Streaming程序。
申请研发同事提供Real-Time Log Streaming相关技术支持，另外还需要提供Topic结构文档给对方。

说明：由于南京设备性能有限，我们不准备将全量日志发送给对方，目前已建议工联与筛选日志字段后我们传输，筛选结果待定中。**liuyang** commented on *2023-08-27T12:53:38.651+0800*:

OLAP支持将指定日志字段从过kafka发给第三方kafka，不需要单独部署程序。只需要根据如下信息进行配置：
* 第三方kafka地址
* 第三方需要的日志类型和字段



---

**yangyang** commented on *2023-09-13T16:12:44.199+0800*:

目前南京TSG环境版本为23.07，现在第三方提供的信息如下：

第三方kafka的ip：

10.10.120.6:9290,10.10.120.7:9290,10.10.120.9:9290

第三方kafka topic：

t_gly_kjllfx_log

需要发送的日志协议如下：

common 



---

**zhangzhihan** commented on *2023-09-15T10:54:24.941+0800*:

经协商，最终采用通过Kafka传送JSON的方式向第三方厂商提供TSG Session Record中Commn相关日志数据。
南京管局要求提供数据的厂商同时提供建表语句，用于第三方厂商将数据入到管局的Hive库，麻烦[~doufenghu]提供支持。建表语句模板如下：
 !screenshot-1.png|thumbnail! 



---



# Attachments

Attachment: 23.07hive_session_record_create.sql

[23.07hive_session_record_create.sql](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/44841/23.07hive_session_record_create.sql)



Attachment: screenshot-1.png

![screenshot-1.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/44749/screenshot-1.png)