fd1b752d16
2. storm替换flink(但是storm并未完全移除,可通过改变配置部署) 3. 新增dos定时任务和dos数据流 4. ck新增表, 服务镜像配置更新, druid新增任务/更新任务
175 lines
5.2 KiB
YAML
175 lines
5.2 KiB
YAML
#===========================druid===============================#
|
||
#druid服务使用磁盘最大大小，若druid单独使用服务器则配置，服务器可用空间的 75%，单位 字节
|
||
#原配置名称：druid.server.maxSize
|
||
server_disk_maxsize: 5000000000000
|
||
|
||
#druid 本地最大的缓存大小 单位：字节
|
||
#原配置名称：druid.segmentCache.locations
|
||
segmentCache_max_size: 300000000000
|
||
|
||
#========Druid-historical节点配置信息========
|
||
#historical 内存大小，单位：MB
|
||
historical_mem: 512
|
||
|
||
#history 堆外内存指定大小，单位：MB
|
||
historical_MaxDirectMemorySize: 512
|
||
|
||
#historical buffer 大小
|
||
#原配置名称：druid.processing.buffer.sizeBytes
|
||
historical_buffer_sizeBytes: 50000000
|
||
|
||
#historical numMergeBuffers 大小
|
||
#原配置名称：druid.processing.numMergeBuffers
|
||
historical_numMergeBuffers: 4
|
||
|
||
#historical numThreads 大小
|
||
#原配置名称：druid.processing.numThreads
|
||
historical_numThreads: 5
|
||
|
||
#========Druid-middlemanager节点配置信息========
|
||
#middleManager 任务内存配置
|
||
#原配置名称：druid.indexer.runner.javaOpts
|
||
middlemanager_runner_javaOpts: '-Xms512m -Xmx512m -XX:MaxDirectMemorySize=512m'
|
||
|
||
#middleManager numMergeBuffers 大小
|
||
#原配置名称：druid.indexer.fork.property.druid.processing.numMergeBuffers
|
||
middlemanager_numMergeBuffers: 2
|
||
|
||
#middleManager buffer.sizeBytes 大小
|
||
#原配置名称：druid.indexer.fork.property.druid.processing.buffer.sizeBytes
|
||
middlemanager_buffer_sizeBytes: 20000000
|
||
|
||
#middleManager numThreads 大小
|
||
#原配置名称：druid.indexer.fork.property.druid.processing.numThreads
|
||
middlemanager_numThreads: 1
|
||
|
||
#========Druid-coordinator节点配置信息========
|
||
#coordinator-overlord 内存大小，单位：MB
|
||
coordinator_mem: 512
|
||
|
||
#========Druid-broker节点配置信息========
|
||
#broker 内存大小，单位：MB
|
||
broker_mem: 512
|
||
|
||
#broker 堆外内存指定大小，单位：MB
|
||
broker_MaxDirectMemorySize: 1024
|
||
|
||
#druid处理缓存大小配置，单位：字节
|
||
#原配置名称：druid.processing.buffer.sizeBytes
|
||
broker_sizeBytes: 50000000
|
||
|
||
#druid处理mergeBuffer大小配置
|
||
#原配置名称：druid.processing.numMergeBuffers
|
||
broker_numMergeBuffers: 6
|
||
|
||
#druid处理线程数量配置
|
||
#原配置名称：druid.processing.numThreads
|
||
broker_numThreads: 1
|
||
|
||
#===========================Hadoop===============================#
|
||
#namenode 进程使用内存大小，单位：MB
|
||
namenode_mem: 512
|
||
|
||
#datanode 进程使用内存大小，单位：MB
|
||
datanode_mem: 512
|
||
|
||
#journalnode 进程使用内存大小，单位：MB
|
||
journal_mem: 1024
|
||
|
||
#zkfc 进程使用内存大小，单位：MB
|
||
zkfc_mem: 1024
|
||
|
||
#namenode 工作线程池大小
|
||
#原配置名称：dfs.namenode.handler.count
|
||
namenode_handlers: 40
|
||
|
||
#datanode 工作线程池大小
|
||
#原配置名称：dfs.datanode.handler.count
|
||
datanode_handlers: 40
|
||
|
||
#===========================HBase===============================#
|
||
#Hmaster进程使用的内存，单位：MB
|
||
master_mem: 1024
|
||
|
||
#Hregionserver进程使用的内存，单位：MB
|
||
region_mem: 2048
|
||
|
||
#Hregionserver进程young内存大小，单位：MB
|
||
region_young_mem: 512
|
||
|
||
#regionserver处理线程数，一般和cpu数相同，也可为核数的整数倍
|
||
#原配置名称：hbase.regionserver.handler.count
|
||
regionserverhandlers: 32
|
||
|
||
#===========================Kafka===============================#
|
||
#kafka 进程使用最大内存，单位：MB
|
||
kafka_max_mem: 1024
|
||
|
||
#kafka 进程初始最小内存，单位：MB
|
||
kafka_min_mem: 512
|
||
|
||
#kafka数据存储时间 单位：小时，默认 168
|
||
log_reten_hours: 168
|
||
|
||
#topic一个分区最大存储多少字节，默认 1G
|
||
topic_max_bytes: 10737418240
|
||
|
||
#topic一个分区内单个数据文件最大多少字节，默认 1G
|
||
#超过会删除，但删除需要时间，即一个partition下可能存在新旧多个文件，一般旧文件不超过两个。
|
||
topic_file_bytes: 1073741824
|
||
|
||
#===========================Mariadb===============================#
|
||
#缓冲池字节大小 单位，单位：MB
|
||
mariadb_innodb_buffer_pool_size: 1024
|
||
|
||
#galaxy mariadb key
|
||
galaxy_mariadb_pin: galaxy2019
|
||
|
||
#===========================Spark===============================#
|
||
#spark worker 节点内存，单位：MB
|
||
spark_worker_mem: 512
|
||
|
||
#spark worker节点处理线程数
|
||
spark_worker_cores: 30
|
||
|
||
#===========================Nacos===============================#
|
||
#Nacos 内存配置
|
||
nacos_java_opt: '-Xms1024m -Xmx1024m -Xmn1024m'
|
||
|
||
#===========================Storm===============================#
|
||
#单个supervisor可使用worker数量，一般为CPU的一半。
|
||
storm_slot_nums: 25
|
||
|
||
#单个worker内存大小，单位：MB
|
||
storm_worker_max_mem: 1024
|
||
|
||
#单个worker内存大小，单位：MB
|
||
storm_worker_min_mem: 1024
|
||
|
||
|
||
#===========================Flink================================#
|
||
#网络缓存大小
|
||
taskmanager_memory_network_min: 512m
|
||
taskmanager_memory_network_max: 1280m
|
||
|
||
#taskmanager堆外内存
|
||
taskmanager_memory_managed_size: 256m
|
||
|
||
#TaskManager进程占用的所有与Flink相关的内存
|
||
taskmanager_memory_flink_size: 5120m
|
||
|
||
#JobManager进程占用的所有与Flink相关的内存
|
||
jobmanager_memory_flink_size: 1024m
|
||
|
||
#===========================Zookeeper===============================#
|
||
#zookeeper 进程 启动内存大小 单位MB
|
||
zookeeper_max_mem: 1024
|
||
|
||
#===========================Mariadb===============================#
|
||
#mariadb 端口
|
||
galaxy_mariadb_port: 3306
|
||
|
||
#mariadb 用户
|
||
galaxy_mariadb_username: root
|
||
|