1:为日志查询添加clickhouse数据源
2:为nis.properties中添加 存储分组复用域配置的redisdb属性
This commit is contained in:
RenKaiGe-Office
@@ -90,33 +90,70 @@
|
||||
<property name="username" value="${jdbc.hive.username}" />
|
||||
<property name="password" value="${jdbc.hive.password}" />
|
||||
<!-- 配置初始化连接池数量 -->
|
||||
<property name="initialSize" value="${druid.hive.initialSize}" />
|
||||
<property name="initialSize" value="${druid.log.initialSize}" />
|
||||
<!-- 配置最小连接池数量 -->
|
||||
<property name="minIdle" value="${druid.hive.minIdle}" />
|
||||
<property name="minIdle" value="${druid.log.minIdle}" />
|
||||
<!-- 配置最大连接池数量 -->
|
||||
<property name="maxActive" value="${druid.hive.maxActive}" />
|
||||
<property name="maxActive" value="${druid.log.maxActive}" />
|
||||
<!-- 配置获取连接等待超时的时间 单位毫秒 -->
|
||||
<property name="maxWait" value="${druid.hive.maxWait}" />
|
||||
<property name="maxWait" value="${druid.log.maxWait}" />
|
||||
<!--使用非公平锁 -->
|
||||
<property name="useUnfairLock" value="${druid.hive.useUnfairLock}" />
|
||||
<property name="useUnfairLock" value="${druid.log.useUnfairLock}" />
|
||||
<!-- 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 -->
|
||||
<property name="timeBetweenEvictionRunsMillis" value="${druid.hive.timeBetweenEvictionRunsMillis}" />
|
||||
<property name="timeBetweenEvictionRunsMillis" value="${druid.log.timeBetweenEvictionRunsMillis}" />
|
||||
<!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
|
||||
<property name="minEvictableIdleTimeMillis" value="${druid.hive.minEvictableIdleTimeMillis}" />
|
||||
<property name="minEvictableIdleTimeMillis" value="${druid.log.minEvictableIdleTimeMillis}" />
|
||||
<!--用来检测连接是否有效的sql，要求是一个查询语句。 -->
|
||||
<property name="validationQuery" value="${druid.hive.validationQuery}" />
|
||||
<property name="validationQuery" value="${druid.log.validationQuery}" />
|
||||
<!--申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 -->
|
||||
<property name="testWhileIdle" value="${druid.hive.testWhileIdle}" />
|
||||
<property name="testWhileIdle" value="${druid.log.testWhileIdle}" />
|
||||
<!--申请连接时执行validationQuery检测连接是否有效， -->
|
||||
<property name="testOnBorrow" value="${druid.hive.testOnBorrow}" />
|
||||
<property name="testOnBorrow" value="${druid.log.testOnBorrow}" />
|
||||
<!--归还连接时执行validationQuery检测连接是否有效， -->
|
||||
<property name="testOnReturn" value="${druid.hive.testOnReturn}" />
|
||||
<property name="testOnReturn" value="${druid.log.testOnReturn}" />
|
||||
<!-- 打开PSCache，并且指定每个连接上PSCache的大小 -->
|
||||
<property name="poolPreparedStatements" value="${druid.hive.poolPreparedStatements}" />
|
||||
<property name="poolPreparedStatements" value="${druid.log.poolPreparedStatements}" />
|
||||
<!--要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100 -->
|
||||
<property name="maxOpenPreparedStatements" value="${druid.hive.maxOpenPreparedStatements}" />
|
||||
<property name="maxOpenPreparedStatements" value="${druid.log.maxOpenPreparedStatements}" />
|
||||
<!-- 配置监控统计拦截的filters，去掉后监控界面sql无法统计 -->
|
||||
<property name="filters" value="${druid.hive.filters}" />
|
||||
<property name="filters" value="${druid.log.filters}" />
|
||||
|
||||
</bean>
|
||||
|
||||
<bean id="ClickHouseDataSourceByDruid" class="com.alibaba.druid.pool.DruidDataSource"
|
||||
init-method="init" destroy-method="close">
|
||||
<property name="driverClassName" value="${jdbc.clickhouse.driver}" />
|
||||
<property name="url" value="${jdbc.clickhouse.url}" />
|
||||
<property name="username" value="${jdbc.clickhouse.username}" />
|
||||
<property name="password" value="${jdbc.clickhouse.password}" />
|
||||
<!-- 配置初始化连接池数量 -->
|
||||
<property name="initialSize" value="${druid.log.initialSize}" />
|
||||
<!-- 配置最小连接池数量 -->
|
||||
<property name="minIdle" value="${druid.log.minIdle}" />
|
||||
<!-- 配置最大连接池数量 -->
|
||||
<property name="maxActive" value="${druid.log.maxActive}" />
|
||||
<!-- 配置获取连接等待超时的时间 单位毫秒 -->
|
||||
<property name="maxWait" value="${druid.log.maxWait}" />
|
||||
<!--使用非公平锁 -->
|
||||
<property name="useUnfairLock" value="${druid.log.useUnfairLock}" />
|
||||
<!-- 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 -->
|
||||
<property name="timeBetweenEvictionRunsMillis" value="${druid.log.timeBetweenEvictionRunsMillis}" />
|
||||
<!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
|
||||
<property name="minEvictableIdleTimeMillis" value="${druid.log.minEvictableIdleTimeMillis}" />
|
||||
<!--用来检测连接是否有效的sql，要求是一个查询语句。 -->
|
||||
<property name="validationQuery" value="${druid.log.validationQuery}" />
|
||||
<!--申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 -->
|
||||
<property name="testWhileIdle" value="${druid.log.testWhileIdle}" />
|
||||
<!--申请连接时执行validationQuery检测连接是否有效， -->
|
||||
<property name="testOnBorrow" value="${druid.log.testOnBorrow}" />
|
||||
<!--归还连接时执行validationQuery检测连接是否有效， -->
|
||||
<property name="testOnReturn" value="${druid.log.testOnReturn}" />
|
||||
<!-- 打开PSCache，并且指定每个连接上PSCache的大小 -->
|
||||
<property name="poolPreparedStatements" value="${druid.log.poolPreparedStatements}" />
|
||||
<!--要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100 -->
|
||||
<property name="maxOpenPreparedStatements" value="${druid.log.maxOpenPreparedStatements}" />
|
||||
<!-- 配置监控统计拦截的filters，去掉后监控界面sql无法统计 -->
|
||||
<property name="filters" value="${druid.log.filters}" />
|
||||
|
||||
</bean>
|
||||
|
||||
|
||||
@@ -67,36 +67,48 @@ bonecp.hive.acquireIncrement=5
|
||||
bonecp.hive.statementsCacheSize=100
|
||||
|
||||
|
||||
#################日志查询clickhouse数据源信息#############
|
||||
|
||||
#########################配置hive使用druid连接池#########################################
|
||||
jdbc.clickhouse.driver=ru.yandex.clickhouse.ClickHouseDriver
|
||||
jdbc.clickhouse.url=jdbc:clickhouse://clickhouse.baifendian.com:80/k18_ods
|
||||
jdbc.clickhouse.username=
|
||||
jdbc.clickhouse.key=
|
||||
jdbc.clickhouse.password=
|
||||
|
||||
|
||||
|
||||
|
||||
#########################配置日志查询使用druid连接池#########################################
|
||||
#配置初始化连接池数量
|
||||
druid.hive.initialSize=5
|
||||
druid.log.initialSize=5
|
||||
#配置最小连接池数量
|
||||
druid.hive.minIdle=1
|
||||
druid.log.minIdle=1
|
||||
#配置最大连接池数量
|
||||
druid.hive.maxActive=200
|
||||
druid.log.maxActive=200
|
||||
# 配置获取连接等待超时的时间 单位毫秒
|
||||
druid.hive.maxWait=600000
|
||||
druid.log.maxWait=600000
|
||||
#使用非公平锁
|
||||
druid.hive.useUnfairLock=true
|
||||
druid.log.useUnfairLock=true
|
||||
#配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
|
||||
druid.hive.timeBetweenEvictionRunsMillis=60000
|
||||
druid.log.timeBetweenEvictionRunsMillis=60000
|
||||
#配置一个连接在池中最小生存的时间，单位是毫秒
|
||||
druid.hive.minEvictableIdleTimeMillis=300000
|
||||
#用来检测连接是否有效的sql，要求是一个查询语句
|
||||
druid.hive.validationQuery=select unix_timestamp()
|
||||
druid.log.minEvictableIdleTimeMillis=300000
|
||||
#用来检测连接是否有效的sql，要求是一个查询语句,下面是hive的
|
||||
druid.log.validationQuery=select unix_timestamp()
|
||||
#用来检测连接是否有效的sql，要求是一个查询语句,下面是clickhouse的
|
||||
#druid.log.validationQuery=show tables
|
||||
#申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效
|
||||
druid.hive.testWhileIdle=true
|
||||
druid.log.testWhileIdle=true
|
||||
#申请连接时执行validationQuery检测连接是否有效
|
||||
druid.hive.testOnBorrow=true
|
||||
druid.log.testOnBorrow=true
|
||||
#归还连接时执行validationQuery检测连接是否有效
|
||||
druid.hive.testOnReturn=false
|
||||
druid.log.testOnReturn=false
|
||||
#打开PSCache，并且指定每个连接上PSCache的大小
|
||||
druid.hive.poolPreparedStatements=true
|
||||
druid.log.poolPreparedStatements=true
|
||||
#要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100
|
||||
druid.hive.maxOpenPreparedStatements=100
|
||||
druid.log.maxOpenPreparedStatements=100
|
||||
#配置监控统计拦截的filters，去掉后监控界面sql无法统计
|
||||
druid.hive.filters=stat
|
||||
druid.log.filters=stat
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -190,6 +190,8 @@ digest.gen.tool.path=maat-redis/digest_gen
|
||||
maxRedisDBIndex=16
|
||||
##存放编译,分组,域配置id关系的redis数据库编号
|
||||
idRelaRedisDBIndex=15
|
||||
#存储分组复用域配置的redisdb
|
||||
tmpStorageReuseRegionDB=15
|
||||
##阀门配置在redisdb的序号
|
||||
tapRedisDb=7
|
||||
|
||||
|
||||
Reference in New Issue
Block a user