gfwleak/galaxy-tsg-olap-log-stream-doublewrite
Archived
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
This repository has been archived on 2025-09-14. You can view files and clone it, but cannot push or open issues or pull requests.
Files
ed07a3dbfb65edf0d7dd8b7935a14d1dc39f9f34
galaxy-tsg-olap-log-stream-…/properties/service_flow_config.properties

77 lines
2.7 KiB
Properties
Raw Normal View History

根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#--------------------------------地址配置------------------------------#
#管理kafka地址
feat:adapt to percent log structure
2024-01-18 19:31:05 +08:00
source.kafka.servers=192.168.44.12:9094
#source.kafka.servers=192.168.44.11:9094,192.168.44.14:9094,192.168.44.15:9094
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#百分点输出kafka地址
1.适配百分点OSS V3接口（GAL-384）。 2.将FileMeta的属性sourceList改为source_list。
2023-08-07 18:09:09 +08:00
percent.sink.kafka.servers=192.168.44.12:9094
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#文件源数据topic输出kafka地址
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
sink.file.data.kafka.servers=192.168.44.12:9094
#用于分配log_id、连接hbase的zookeeper地址
1.适配百分点OSS V3接口（GAL-384）。 2.将FileMeta的属性sourceList改为source_list。
2023-08-07 18:09:09 +08:00
zookeeper.servers=192.168.44.12:2181
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
#hdfs地址用于获取定位库
hdfs.servers=192.168.40.151:9000,192.168.40.152:9000
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#--------------------------------HTTP/定位库------------------------------#
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
#工具库地址，存放秘钥文件等。
tools.library=D:\\workerspace\\dat\\
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#--------------------------------nacos配置------------------------------#
#nacos 地址
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
nacos.server=192.168.44.12:8848
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
#schema namespace名称
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
nacos.schema.namespace=P19
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
#schema data id名称
feat:adapt to percent log structure
2024-01-18 19:31:05 +08:00
nacos.schema.data.id=session_record.json
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#--------------------------------Kafka消费/生产配置------------------------------#
#kafka 接收数据topic
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
source.kafka.topic=SESSION-RECORD
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
feat:adapt to percent log structure
2024-01-18 19:31:05 +08:00
sink.percent.kafka.topic.session=PERCENT-SESSION-RECORD
sink.percent.kafka.topic.security=PERCENT-SECURITY-RECORD
sink.percent.kafka.topic.proxy=PERCENT-POLICY-RECORD
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
sink.file.data.kafka.topic=test-file-data
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#读取topic,存储该spout id的消费offset信息，可通过该拓扑命名;具体存储offset的位置，确定下次读取不重复的数据；
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
group.id=session-record-log-20211114-test-2
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
#--------------------------------topology配置------------------------------#
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#consumer 并行度
source.parallelism=1
#转换函数并行度
transform.parallelism=1
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
deal.file.parallelism=1
sink.file.data.parallelism=1
sink.percent.parallelism=1
根据04版补全程序更新P19双写程序。
2022-06-17 16:54:38 +08:00
#数据中心，取值范围(0-31)
data.center.id.num=0
#hbase 更新时间，如填写0则不更新缓存
hbase.tick.tuple.freq.secs=180
#--------------------------------默认值配置------------------------------#
#生产者压缩模式 none or snappy
1.适配TSG 23.07及以上功能，添加数据传输统计指标，并输出至pushgateway。(GAL-409) 2.原URL参数domain从http_domain字段取值，更新为从common_server_domain字段取值。(GAL-410)
2023-09-28 15:59:26 +08:00
producer.kafka.compression.type=snappy
#------------------------------------OOS配置------------------------------------#
#oos地址
oos.servers=10.3.45.100:8057
#prometheus-httpserver
prometheus.pushgateway.address=192.168.44.12:9091
pushgateway.statistics.time=300
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
deal.file.statistics.time=60
#------------------------------------knowledge配置------------------------------------#
knowledge.execution.minutes=600
feat:adapt to percent log structure
2024-01-18 19:31:05 +08:00
knowledge.base.uri=http://192.168.44.12:9999
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
knowledge.base.path=/v1/knowledge_base
ip.user.defined.kd.id=004390bc-3135-4a6f-a492-3662ecb9e289
ip.builtin.kd.id=64af7077-eb9b-4b8f-80cf-2ceebc89bea9
asn.builtin.kd.id=f9f6bc91-2142-4673-8249-e097c00fe1ea
feat:adapt to percent log structure
2024-01-18 19:31:05 +08:00
hos.url=http://192.168.44.12:9098/hos/traffic_file_bucket/
feat:Adapt to version 24.01 session-record
2024-01-17 20:02:27 +08:00
Reference in New Issue Copy Permalink