gfwleak/galaxy-tsg-olap-generate-baseline
Archived
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
This repository has been archived on 2025-09-14. You can view files and clone it, but cannot push or open issues or pull requests.
Files
646071b16f4dbc2f201e769cbd633583243d4306
galaxy-tsg-olap-generate-ba…/src/main/resources/application.properties

88 lines
2.6 KiB
Properties
Raw Normal View History

根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
##########################################
############## 数据库配置 ###############
##########################################
fix
2021-08-03 16:57:18 +08:00
#Druid配置
丢弃全零的traffic数据
2021-09-01 15:06:31 +08:00
druid.url=jdbc:avatica:remote:url=http://192.168.44.12:8082/druid/v2/sql/avatica/
fix
2021-08-03 16:57:18 +08:00
druid.driver=org.apache.calcite.avatica.remote.Driver
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.table=traffic_top_destination_ip_metrics_log
fix
2021-08-03 16:57:18 +08:00
#HBase配置
丢弃全零的traffic数据
2021-09-01 15:06:31 +08:00
hbase.table=dos:ddos_traffic_baselines
增加数据分布LOG;修改数据读取sql,解决数据重复问题
2021-08-17 19:17:33 +08:00
hbase.zookeeper.quorum=192.168.44.12
fix
2021-08-03 16:57:18 +08:00
hbase.zookeeper.client.port=2181
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
##########################################
############## Druid数据读取 ###############
##########################################
#读取druid时间范围方式，
# 0：读取默认范围天数read.historical.days；
# 1：指定时间范围
add file
2021-09-27 09:43:55 +08:00
read.druid.time.limit.type=0
hbase连接实例化在线程内部
2021-09-13 10:45:45 +08:00
read.druid.min.time=1627747200000
解决迭代器超时问题
2021-09-10 14:51:20 +08:00
read.druid.max.time=1630425600000
fix
2021-08-03 16:57:18 +08:00
写入生成类型
2021-08-10 10:41:32 +08:00
#Druid字段映射
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.attacktype.tcpsynflood=TCP SYN Flood
druid.attacktype.udpflood=UDP Flood
druid.attacktype.icmpflood=ICMP Flood
add file
2021-09-27 09:43:55 +08:00
druid.attacktype.dnsamplification=DNS Flood
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.columnname.serverip=destination_ip
druid.columnname.attacktype=attack_type
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
druid.columnname.recvtime=__time
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.columnname.partition.num=partition_num
baseline.metric.type=session_rate
增加参数配置baseline保存level
2021-09-01 19:16:28 +08:00
#baseline存储级别，1-type1;2-type1及type2;3-all
添加bug注释
2021-09-09 10:57:42 +08:00
baseline.save.level=3
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
写入生成类型
2021-08-10 10:41:32 +08:00
#Hbase字段映射
hbase.baseline.generation.type.suffix=baseline_type
修改字段名为*_default_value
2021-08-17 15:54:33 +08:00
hbase.baseline.zero.replace.value.suffix=default_value
写入生成类型
2021-08-10 10:41:32 +08:00
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
#数据情况
#读取历史N天数据，最小值为3天（需要判断周期性）
修复bug,多线程加载数据,多线程baseline处理
2021-08-03 21:44:05 +08:00
read.historical.days=3
fix
2021-08-03 16:57:18 +08:00
#历史数据汇聚粒度为10分钟
historical.grad=10
# 数据库Time格式
time.format=yyyy-MM-dd HH:mm:ss
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
##########################################
############ Baseline生成参数 #############
##########################################
baseline.range.days=1
baseline.function=KalmanFilter
修改参数
2021-10-27 19:36:11 +08:00
baseline.period.correlative.threshold=0.8
baseline.historical.frequency.thread=0.5
修改异常值替换逻辑
2021-08-06 17:51:36 +08:00
baseline.exception.percentile=0.99
baseline.exception.fill.percentile=0.99
修改判断框架，优先判断周期性，增加p99/p50判断
2021-10-27 19:35:07 +08:00
baseline.rational.percentile=0.99
删除 p99/p50 ; 添加type2 type3填充参数
2021-10-29 11:19:13 +08:00
baseline.type2.percentile=1
baseline.type3.percentile=1
修改判断框架，优先判断周期性，增加p99/p50判断
2021-10-27 19:35:07 +08:00
# p99/p50 倍数阈值
baseline.times.percent.times=10
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
fix
2021-08-03 16:57:18 +08:00
#Kalman Filter
修改异常值替换逻辑
2021-08-06 17:51:36 +08:00
baseline.kalman.q=0.1
修改filter 参数
2021-08-05 21:08:15 +08:00
baseline.kalman.r=0.1
修改异常值替换逻辑
2021-08-06 17:51:36 +08:00
baseline.kalman.p=8
baseline.kalman.m=2
fix
2021-08-03 16:57:18 +08:00
增加数据分布LOG;修改数据读取sql,解决数据重复问题
2021-08-17 19:17:33 +08:00
monitor.frequency.bin.num=100
根据partition_num进行多线程分区
2021-08-09 15:47:42 +08:00
##########################################
################ 并发参数 #################
##########################################
增加核心和最大线程参数设置
2021-09-13 10:56:25 +08:00
all.partition.num=100
add file
2021-09-27 09:43:55 +08:00
core.pool.size=10
max.pool.size=10
Druid等待重连
2021-08-09 16:54:30 +08:00
#druid分区字段partition_num的最大值为9999
增加statement queryTimeout (无效)
2021-09-09 17:25:03 +08:00
druid.statement.query.timeout=36000
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.partition.num.max=10000
添加bug注释
2021-09-09 10:57:42 +08:00
druid.connection.retry.time.max=10000
#druid重连等待时间约为一个线程处理完成时间
Druid等待重连
2021-08-09 16:54:30 +08:00
druid.connection.retry.sleep.time=1000
fix
2021-08-03 16:57:18 +08:00
Reference in New Issue Copy Permalink