适配Nacos动态更新schema(GAL-144)

This commit is contained in:
qidaijie
2022-04-01 11:47:56 +08:00
parent 32cdd71e71
commit dd439b81b3
16 changed files with 275 additions and 410 deletions

View File

@@ -7,6 +7,7 @@ max.poll.records=3000
#kafka source poll bytes
max.partition.fetch.bytes=31457280
#====================Kafka KafkaProducer====================#
#producer重试的次数设置
retries=0
@@ -27,19 +28,34 @@ buffer.memory=134217728
#这个参数决定了每次发送给Kafka服务器请求的最大大小,默认1048576
#10M
max.request.size=10485760
#生产者压缩模式 none or snappy
producer.kafka.compression.type=none
#生产者ack
producer.ack=1
#====================kafka default====================#
#kafka SASL验证用户名-加密
kafka.user=nsyGpHKGFA4KW0zro9MDdw==
#kafka SASL及SSL验证密码-加密
kafka.pin=6MleDyA3Z73HSaXiKsDJ2k7Ys8YWLhEJ
#====================nacos default====================#
#nacos username
nacos.username=nacos
#nacos password
nacos.pin=nacos
#nacos group
nacos.group=Galaxy
#====================Topology Default====================#
#两个输出之间的最大时间(单位milliseconds)
buffer.timeout=100
#第一次随机分组random范围
random.range.num=40
#app_id 更新时间如填写0则不更新缓存
app.tick.tuple.freq.secs=0
random.range.num=40

View File

@@ -1,57 +1,56 @@
#--------------------------------地址配置------------------------------#
#管理kafka地址
source.kafka.servers=192.168.44.12:9094
source.kafka.servers=192.168.40.223:9094,192.168.40.151:9094,192.168.40.152:9094
#管理输出kafka地址
sink.kafka.servers=192.168.44.12:9094
sink.kafka.servers=192.168.40.223:9094,192.168.40.151:9094,192.168.40.152:9094
#--------------------------------nacos配置------------------------------#
#nacos 地址
nacos.server=192.168.44.12:8848
#nacos namespace
nacos.schema.namespace=flink
#nacos data id
nacos.data.id=liveChart_session.json
#--------------------------------HTTP------------------------------#
#kafka 证书地址
tools.library=D:\\workerspace\\dat\\
#网关的schema位置
schema.http=http://192.168.44.67:9999/metadata/schema/v1/fields/liveChart_session
#网关APP_ID 获取接口
app.id.http=http://192.168.44.67:9999/open-api/appDicList
tools.library=/home/tsg/olap/topology/dat/
#--------------------------------Kafka消费组信息------------------------------#
#kafka 接收数据topic
source.kafka.topic=test
source.kafka.topic=SESSION-RECORD
#补全数据 输出 topic
sink.kafka.topic=test-result
sink.kafka.topic=TRAFFIC-PROTOCOL-STAT
#读取topic,存储该spout id的消费offset信息可通过该拓扑命名;具体存储offset的位置确定下次读取不重复的数据
group.id=mytest-211119-1
#生产者压缩模式 none or snappy
producer.kafka.compression.type=none
#生产者ack
producer.ack=1
group.id=liveCharts-session-20211105-1
#--------------------------------topology配置------------------------------#
#consumer 并行度
source.parallelism=1
source.parallelism=9
#map函数并行度
parse.parallelism=2
parse.parallelism=27
#first count 函数并行度
first.window.parallelism=2
#第一次窗口计算并行度
first.window.parallelism=27
#second count 函数并行度
second.window.parallelism=2
#第二次窗口计算并行度
second.window.parallelism=27
#producer 并行度
sink.parallelism=1
sink.parallelism=9
#初次随机预聚合窗口时间
##初次随机预聚合窗口时间
first.count.window.time=5
#二次聚合窗口时间
second.count.window.time=15