66 lines
2.0 KiB
Markdown
66 lines
2.0 KiB
Markdown
# 江苏项目：工联院希望在南京管局TSG测试环境上使用Real-Time Log Streaming功能向第三方发送日志
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-1011 | 2023-08-24T15:12:38.000+0800 | 刘洋 | 完成 |
|
||
|
||
|
||
---
|
||
|
||
南京有个与工联院合作的第三方厂商，希望从TSG平台获取日志。沟通后，对方接受以kafka to kafka的方式对接日志，即使用TSG的Real-Time Log Streaming功能。
|
||
目前计划下周工程部[~yangyang]前往南京，将南京TSG测试环境升级至TSG v22.11-LTS，再部署Real-Time Log Streaming程序。
|
||
申请研发同事提供Real-Time Log Streaming相关技术支持，另外还需要提供Topic结构文档给对方。
|
||
|
||
说明：由于南京设备性能有限，我们不准备将全量日志发送给对方，目前已建议工联与筛选日志字段后我们传输，筛选结果待定中。**liuyang** commented on *2023-08-27T12:53:38.651+0800*:
|
||
|
||
OLAP支持将指定日志字段从过kafka发给第三方kafka，不需要单独部署程序。只需要根据如下信息进行配置：
|
||
* 第三方kafka地址
|
||
* 第三方需要的日志类型和字段
|
||
|
||
|
||
|
||
---
|
||
|
||
**yangyang** commented on *2023-09-13T16:12:44.199+0800*:
|
||
|
||
目前南京TSG环境版本为23.07，现在第三方提供的信息如下：
|
||
|
||
第三方kafka的ip：
|
||
|
||
10.10.120.6:9290,10.10.120.7:9290,10.10.120.9:9290
|
||
|
||
第三方kafka topic：
|
||
|
||
t_gly_kjllfx_log
|
||
|
||
需要发送的日志协议如下：
|
||
|
||
common
|
||
|
||
|
||
|
||
---
|
||
|
||
**zhangzhihan** commented on *2023-09-15T10:54:24.941+0800*:
|
||
|
||
经协商，最终采用通过Kafka传送JSON的方式向第三方厂商提供TSG Session Record中Commn相关日志数据。
|
||
南京管局要求提供数据的厂商同时提供建表语句，用于第三方厂商将数据入到管局的Hive库，麻烦[~doufenghu]提供支持。建表语句模板如下：
|
||
!screenshot-1.png|thumbnail!
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**44841/23.07hive_session_record_create.sql**
|
||
|
||
---
|
||
|
||
**44749/screenshot-1.png**
|
||
|
||
---
|
||
|