1. 新增自动检测安装ansible(本地yum源的方式实现)

2. storm替换flink(但是storm并未完全移除,可通过改变配置部署)
3. 新增dos定时任务和dos数据流
4. ck新增表, 服务镜像配置更新, druid新增任务/更新任务

configurations/components.yml

@@ -0,0 +1,174 @@
+#===========================druid===============================#
+#druid服务使用磁盘最大大小，若druid单独使用服务器则配置，服务器可用空间的 75%，单位 字节
+#原配置名称：druid.server.maxSize
+server_disk_maxsize: 5000000000000
+
+#druid 本地最大的缓存大小 单位：字节
+#原配置名称：druid.segmentCache.locations
+segmentCache_max_size: 300000000000
+
+#========Druid-historical节点配置信息========
+#historical 内存大小，单位：MB
+historical_mem: 512
+
+#history 堆外内存指定大小，单位：MB
+historical_MaxDirectMemorySize: 512
+
+#historical buffer 大小
+#原配置名称：druid.processing.buffer.sizeBytes
+historical_buffer_sizeBytes: 50000000
+
+#historical numMergeBuffers 大小
+#原配置名称：druid.processing.numMergeBuffers
+historical_numMergeBuffers: 4
+
+#historical numThreads 大小
+#原配置名称：druid.processing.numThreads
+historical_numThreads: 5
+
+#========Druid-middlemanager节点配置信息========
+#middleManager 任务内存配置
+#原配置名称：druid.indexer.runner.javaOpts
+middlemanager_runner_javaOpts: '-Xms512m -Xmx512m -XX:MaxDirectMemorySize=512m'
+
+#middleManager numMergeBuffers 大小
+#原配置名称：druid.indexer.fork.property.druid.processing.numMergeBuffers
+middlemanager_numMergeBuffers: 2
+
+#middleManager buffer.sizeBytes 大小
+#原配置名称：druid.indexer.fork.property.druid.processing.buffer.sizeBytes
+middlemanager_buffer_sizeBytes: 20000000
+
+#middleManager numThreads 大小
+#原配置名称：druid.indexer.fork.property.druid.processing.numThreads
+middlemanager_numThreads: 1
+
+#========Druid-coordinator节点配置信息========
+#coordinator-overlord 内存大小，单位：MB
+coordinator_mem: 512
+
+#========Druid-broker节点配置信息========
+#broker 内存大小，单位：MB
+broker_mem: 512
+
+#broker 堆外内存指定大小，单位：MB
+broker_MaxDirectMemorySize: 1024
+
+#druid处理缓存大小配置，单位：字节
+#原配置名称：druid.processing.buffer.sizeBytes
+broker_sizeBytes: 50000000
+
+#druid处理mergeBuffer大小配置
+#原配置名称：druid.processing.numMergeBuffers
+broker_numMergeBuffers: 6
+
+#druid处理线程数量配置
+#原配置名称：druid.processing.numThreads
+broker_numThreads: 1
+
+#===========================Hadoop===============================#
+#namenode 进程使用内存大小，单位：MB
+namenode_mem: 512
+
+#datanode 进程使用内存大小，单位：MB
+datanode_mem: 512
+
+#journalnode 进程使用内存大小，单位：MB
+journal_mem: 1024
+
+#zkfc 进程使用内存大小，单位：MB
+zkfc_mem: 1024
+
+#namenode 工作线程池大小
+#原配置名称：dfs.namenode.handler.count
+namenode_handlers: 40
+
+#datanode 工作线程池大小
+#原配置名称：dfs.datanode.handler.count
+datanode_handlers: 40
+
+#===========================HBase===============================#
+#Hmaster进程使用的内存，单位：MB
+master_mem: 1024
+
+#Hregionserver进程使用的内存，单位：MB
+region_mem: 2048
+
+#Hregionserver进程young内存大小，单位：MB
+region_young_mem: 512
+
+#regionserver处理线程数，一般和cpu数相同，也可为核数的整数倍
+#原配置名称：hbase.regionserver.handler.count
+regionserverhandlers: 32
+
+#===========================Kafka===============================#
+#kafka 进程使用最大内存，单位：MB
+kafka_max_mem: 1024
+
+#kafka 进程初始最小内存，单位：MB
+kafka_min_mem: 512
+
+#kafka数据存储时间 单位：小时，默认 168
+log_reten_hours: 168
+
+#topic一个分区最大存储多少字节，默认 1G
+topic_max_bytes: 10737418240
+
+#topic一个分区内单个数据文件最大多少字节，默认 1G
+#超过会删除，但删除需要时间，即一个partition下可能存在新旧多个文件，一般旧文件不超过两个。
+topic_file_bytes: 1073741824
+
+#===========================Mariadb===============================#
+#缓冲池字节大小 单位，单位：MB
+mariadb_innodb_buffer_pool_size: 1024
+
+#galaxy mariadb key
+galaxy_mariadb_pin: galaxy2019
+
+#===========================Spark===============================#
+#spark worker 节点内存，单位：MB
+spark_worker_mem: 512
+
+#spark worker节点处理线程数
+spark_worker_cores: 30
+
+#===========================Nacos===============================#
+#Nacos 内存配置
+nacos_java_opt: '-Xms1024m -Xmx1024m -Xmn1024m'
+
+#===========================Storm===============================#
+#单个supervisor可使用worker数量，一般为CPU的一半。
+storm_slot_nums: 25
+
+#单个worker内存大小，单位：MB 
+storm_worker_max_mem: 1024
+
+#单个worker内存大小，单位：MB 
+storm_worker_min_mem: 1024
+
+
+#===========================Flink================================#
+#网络缓存大小
+taskmanager_memory_network_min: 512m
+taskmanager_memory_network_max: 1280m
+
+#taskmanager堆外内存
+taskmanager_memory_managed_size: 256m
+
+#TaskManager进程占用的所有与Flink相关的内存
+taskmanager_memory_flink_size: 5120m
+
+#JobManager进程占用的所有与Flink相关的内存
+jobmanager_memory_flink_size: 1024m
+
+#===========================Zookeeper===============================#
+#zookeeper 进程 启动内存大小 单位MB
+zookeeper_max_mem: 1024
+
+#===========================Mariadb===============================#
+#mariadb 端口
+galaxy_mariadb_port: 3306
+
+#mariadb 用户
+galaxy_mariadb_username: root
+

configurations/config.yml

@@ -0,0 +1,91 @@
+#============================基础配置===============================#
+#根据对应的地区修改;默认为东八区，若为东六区，则修改为:"+06:00"
+local_time: "+08:00"
+
+#若使用本安装包安装jdk，则此配置无需更改；若使用其他安装包或已安装过，则指向已有的jdk安装目录
+java_home: /usr/lib/jvm/jdk1.8.0_73
+
+#统一安装路径
+install_path: /home/galaxy
+
+#数据存储路径，包含数据和日志
+data_path: /home/galaxy
+
+#若安装过程中检测到对应组件已存在，是否允许脚本卸载已存在的组件。
+#仅限本安装包部署的组件。
+allowed_unload: "yes"
+
+# 所有安装包路径,可自己指定绝对路径
+package_path: "{{ playbook_dir | dirname }}/software_packages"
+#package_path: /opt/software_packages
+
+#============================bifang-Mariadb===============================#
+
+#Bifang MariaDB 地址，用于galaxy-qgw-service、galaxy-report-service、flink-dos的业务使用。
+bifang_mariadb_host: 192.168.40.153
+
+#Bifang mariadb 端口
+bifang_mariadb_port: 3306
+
+#Bifang mariadb 数据库名
+bifang_mariadb_database: tsg-bifang
+
+#Bifang mariadb root's pin
+bifang_mariadb_pin: 111111
+
+#============================虚IP===============================#
+
+#-------------apps------------------#
+
+#Galaxy 业务组件keepalive IP地址,填写的IP只能是和hosts-services配置的IP是同段的，且不能跟同段内已有的IP相同。
+gateway_keepalive_host: 192.168.45.252
+
+#Galaxy 业务组件keepalive绑定网卡名称，不支持两个服务器网卡名称不同的情况，此情况需要安装完成后手动修改配置文件
+gateway_keepalive_interface: eth0
+
+#Galaxy 业务组件keepalive router_id 注意同网段内此值不可重复
+gateway_keepalive_router_id: 61
+
+#-------------hos------------------#
+#是否需要对hos配置keepalive，若不需要则此处为no，若需要则为yes
+#此项配置用于在服务器较少环境下，不对galaxy-hos-service服务单独做负载均衡的情况。
+hos_keepalive_need: "yes"
+
+#galaxy-hos-service服务keepalive IP地址 若 hos_keepalive_need为no，则此处填写gateway_keepalive_host对应的IP
+#填写的IP只能是和hosts-hoskeepalive配置的IP是同段的，且不能跟同段内已有的IP相同。
+hos_keepalive_host: 192.168.45.253
+
+#galaxy-hos-service服务keepalive绑定网卡名称，不支持两个服务器网卡名称不同的情况，此情况需要安装完成后手>动修改配置文件
+#若 hos_keepalive_need 配置no则此处 可不进行修改
+hos_keepalive_interface: eth0
+
+#galaxy-hos-service服务keepalive router_id 注意同网段内此值不可重复
+#若 hos_keepalive_need 配置no则此处 可不进行修改
+hos_keepalive_router_id: 62
+
+#============================clickhouse===============================#
+#ssd磁盘挂载的目录, 如果没有ssd磁盘可选择一块普通磁盘
+clickhouse_ssd_path: /ssd_data/clickhouse/
+
+#============================Kafka===============================#
+#任务消费kafka地址,若无特殊情况为本安装集群kafka地址，格式:kafkaip1:9092,kafkaip2:9092,kafkaip3:9092.....
+kafka_source_servers: 192.168.45.37:9092,192.168.45.38:9092,192.168.45.39:9092
+
+#任务结果写入kafka地址,若无特殊情况为本安装集群kafka地址，格式:kafkaip1:9092,kafkaip2:9092,kafkaip3:9092.....
+kafka_sink_servers: 192.168.45.37:9092,192.168.45.38:9092,192.168.45.39:9092
+
+#============================默认配置===============================#
+#自研服务组件使用nacos 命名空间名称
+services_config_namespace: prod
+
+#Galaxy的 Nacos pin
+nacos_pin: nacos
+
+#Nacos 使用的mariadb 数据库名称
+mariadb_nacos_database: nacos
+
+#Druid 使用的mariadb 数据库名称
+mariadb_druid_database: druid
+
+#galaxy-job-service依赖的MariaDB数据库名称
+mariadb_job_database: xxl_job

configurations/hosts

@@ -0,0 +1,97 @@
+#此标签指定的IP用于：chproxy、galaxy-app-nginx、galaxy-job-service、galaxy-qgw-service、galaxy-report-service、galaxy-app-keepalive的安装
+#最少需要指定两台。
+[services]
+192.168.45.42
+192.168.45.43
+
+#此标签指定的IP用于：galaxy-hos-service 的安装
+[hos]
+192.168.45.40
+192.168.45.41
+
+#此标签指定的IP用于：galaxy-hos-keepalive和galaxy-hos-nginx的安装
+#inventories/pro/group_vars/all内的hos_keepalive_need配置是no，则此处不写任何IP，yes就写部署galaxy-hos-service服务keepalive的服务器地址。
+#不能与services指定的IP相同,且最多为两台。
+[hoskeepalive]
+192.168.45.40
+192.168.45.41
+
+#此标签指定的IP用于：ArangoDB的安装
+[arangodb]
+192.168.45.42
+
+#此标签指定的IP用于：Mariadb的安装，目前版本下仅可配置两个IP，且需要与services标签的前两个IP相同。
+#现没有负载需求，保留后期做负载的功能需求。
+[mariadb]
+192.168.45.42
+192.168.45.43
+
+#此标签指定的IP用于：Nacos的安装
+[nacos]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache Zookeeper的安装
+[zookeeper]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache Kafka的安装，集群第一台同时部署Kafka-Manager服务。
+[kafka]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache Storm的安装，根据内部约定，若集群整体小于3台则第一台为numbus节点；大于三台则前三台为nimbus节点。
+#[storm]
+#192.168.45.37
+#192.168.45.38
+#192.168.45.39
+
+#此标签指定的IP用于：Apache Flink的安装，根据内部约定，前两台台为master节点；所有节点为worker节点。
+[flink]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache Hadoop的安装
+[hadoop]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache HBase的安装
+[hbase]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Apache Spark的安装，根据内部约定，若集群小于3台则worker在所有节点上；大于3台则第一个节点为master节点。
+[spark]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Galaxy-Gohangout的安装
+[gohangout]
+192.168.45.40
+
+#此标签指定的IP用于：Apache Druid的安装，根据内部约定，若集群整体小于4台则每台为全部节点；大于4台则前两台默认为query节点。
+[druid]
+192.168.45.37
+192.168.45.38
+192.168.45.39
+
+#此标签指定的IP用于：Clickhouse的安装,根据内部约定，前两台默认为query节点。
+[clickhouse]
+192.168.45.40
+192.168.45.41
+192.168.45.42
+192.168.45.43
+
+#dos检测的离线generate-baseline程序
+[dos_baseline]
+192.168.45.43
+

configurations/services.yml

@@ -0,0 +1,18 @@
+#=======================galaxy-hos-service==========================#
+#galaxy-hos-service服务 tomcat缓存大小,单位KB
+hos_tomcat_cache_size: 100000
+
+#galaxy-hos-service 服务内存设置
+hos_java_opts: "-Xmx512m -Xms512m -Xmn512m"
+
+#=======================galaxy-qgw-service==========================#
+#galaxy-qgw-service 服务内存设置
+qgw_java_opts: "-Xmx512m -Xms512m"
+
+#=======================galaxy-job-service==========================#
+#galaxy-job-service 服务内存设置
+job_java_opts: "-Xmx512m -Xms512m"
+
+#======================galaxy-report-service=========================#
+#galaxy-report-service 服务内存设置
+report_java_opts: "-Xmx512m -Xms512m"