gfwleak/k18-ntcs-web-argus-service
Archived
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

1:删除无用的数据库连接

Browse Source 
2:修改pom中使用的hive版本为2.1.1
3:添加IP地址日志查询服务
This commit is contained in:
RenKaiGe-Office
2018-07-02 16:10:48 +08:00
parent 4f4ad8464a
commit 0530479502
22 changed files with 731 additions and 901 deletions
Download Patch File Download Diff File Expand all files Collapse all files

69
src/main/resources/applicationContext-mybatis.xml
View File

@@ -78,13 +78,13 @@
</bean>
<!--A版hive数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="HiveADataSource" parent="parentDataSource"
<!--hive数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="HiveDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.hiveA.driver}"></property>
<property name="jdbcUrl" value="${jdbc.hiveA.url}"></property>
<property name="username" value="${jdbc.hiveA.username}"></property>
<property name="password" value="${jdbc.hiveA.password}"></property>
<property name="driverClass" value="${jdbc.hive.driver}"></property>
<property name="jdbcUrl" value="${jdbc.hive.url}"></property>
<property name="username" value="${jdbc.hive.username}"></property>
<property name="password" value="${jdbc.hive.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes"
value="${bonecp.hive.idleConnectionTestPeriodInMinutes}"></property>
@@ -102,59 +102,12 @@
<property name="statementsCacheSize" value="${bonecp.hive.statementsCacheSize}" />
</bean>
<!--B版hive数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="HiveBDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.hiveB.driver}"></property>
<property name="jdbcUrl" value="${jdbc.hiveB.url}"></property>
<property name="username" value="${jdbc.hiveB.username}"></property>
<property name="password" value="${jdbc.hiveB.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes"
value="${bonecp.hive.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.hive.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.hive.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.hive.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.hive.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.hive.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.hive.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,神通数据库 -->
<bean id="LogClusterDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.log.cluster.driver}"></property>
<property name="jdbcUrl" value="${jdbc.log.cluster.url}"></property>
<property name="username" value="${jdbc.log.cluster.username}"></property>
<property name="password" value="${jdbc.log.cluster.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.cluster.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.cluster.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.cluster.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.cluster.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.cluster.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.cluster.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.cluster.statementsCacheSize}" />
</bean>
<bean id="dynamicDataSource" class="com.nis.datasource.DynamicDataSource">
<property name="targetDataSources">
<map key-type="java.lang.String">
<entry value-ref="DevlopDataSource" key="dataSourceA"></entry>
<entry value-ref="LogDataSource" key="dataSourceC"></entry>
<entry value-ref="LogClusterDataSource" key="dataSourceH"></entry>
<entry value-ref="LogDataSource" key="dataSourceB"></entry>
</map>
</property>
<property name="defaultTargetDataSource" ref="DevlopDataSource"></property>
@@ -192,10 +145,10 @@
<!-- 定义transactionManager作事务管理,get*方法事务为readonly,其它方法按默认设置 -->
<tx:advice id="txAdvice" transaction-manager="transactionManager">
<tx:attributes>
<tx:method name="get*" read-only="true" propagation="NOT_SUPPORTED"/>
<tx:method name="find*" read-only="true" propagation="NOT_SUPPORTED"/>
<tx:method name="query*" read-only="true" propagation="NOT_SUPPORTED"/>
<tx:method name="search*" read-only="true" propagation="NOT_SUPPORTED"/>
<tx:method name="get*" read-only="true" propagation="NOT_SUPPORTED" />
<tx:method name="find*" read-only="true" propagation="NOT_SUPPORTED" />
<tx:method name="query*" read-only="true" propagation="NOT_SUPPORTED" />
<tx:method name="search*" read-only="true" propagation="NOT_SUPPORTED" />
<tx:method name="*" />
</tx:attributes>
</tx:advice>

37
src/main/resources/jdbc.properties
View File

@@ -32,46 +32,23 @@ bonecp.partitionCount=3
bonecp.acquireIncrement=5
bonecp.statementsCacheSize=100
############################################################################################################################################
#数据中心神通数据库接口配置
############################################################################################################################################
bonecp.cluster.idleMaxAgeInMinutes=60
bonecp.cluster.idleConnectionTestPeriodInMinutes=240
bonecp.cluster.maxConnectionsPerPartition=10
bonecp.cluster.minConnectionsPerPartition=5
bonecp.cluster.partitionCount=3
bonecp.cluster.acquireIncrement=5
bonecp.cluster.statementsCacheSize=100
jdbc.log.cluster.driver=com.oscar.cluster.BulkDriver
jdbc.log.cluster.url=jdbc:oscarclusterbulk://10.3.129.125:2010/logdb
jdbc.log.cluster.username=xa_z2_iie
jdbc.log.cluster.key=2fa3hQn28+4AOdJXL4Ud2w==
jdbc.log.cluster.password=uut+weC9of5ocPheagBJ4A==
############################################################################################################################################
#数据中心hive接口配置
############################################################################################################################################
#A版日志库
jdbc.hiveA.driver=org.apache.hive.jdbc.HiveDriver
jdbc.hiveA.url=jdbc:hive2://10.3.130.24:10000/default
jdbc.hiveA.username=xa_z2_mesa
jdbc.hiveA.key=aC/8fTC9vfPVhCk+CDzbAQ==
jdbc.hive.driver=org.apache.hive.jdbc.HiveDriver
jdbc.hive.url=jdbc:hive2://10.0.6.202:10000/maat
jdbc.hive.username=xa_z2_mesa
jdbc.hive.key=aC/8fTC9vfPVhCk+CDzbAQ==
#加密后密码
jdbc.hiveA.password=V3GyFlG8Mg01bTt8ykFVaA==
jdbc.hive.password=V3GyFlG8Mg01bTt8ykFVaA==
#实际密码
#jdbc.hiveA.password=123!@#qwe
#B版日志库
jdbc.hiveB.driver=org.apache.hive.jdbc.HiveDriver
jdbc.hiveB.url=jdbc:hive2://10.3.130.25:10000/default
jdbc.hiveB.username=xa_z2_mesa
jdbc.hiveB.key=aC/8fTC9vfPVhCk+CDzbAQ==
#加密后密码
jdbc.hiveB.password=V3GyFlG8Mg01bTt8ykFVaA==
#实际密码
#jdbc.hiveB.password=123!@#qwe
bonecp.hive.idleMaxAgeInMinutes=60
bonecp.hive.idleConnectionTestPeriodInMinutes=240
bonecp.hive.maxConnectionsPerPartition=20

10
src/main/resources/nis.properties
View File

@@ -183,7 +183,7 @@ selFromHive=false
isGetHiveCount=false
#每次获取数据中心多少条数据,咱们在对获取的数据进行分页处理
everyGetHiveDataNum=10000
everyGetHiveDataNum=100
#oracle数据库有问题不从oracle查询数据,所有日志数据均从数据中心查询
onlySelFromHive=false
@@ -229,10 +229,8 @@ isUseES=false
#数据中心A版数据库名称,程序中每次查询时使用的数据库名称 use dbA
jdbc.hive.AName=xa_dfbhit_hive
#数据中心B版数据库名称
jdbc.hive.BName=xa_z2_mesalog_hive
#数据中心hive日志库数据库名称,程序中每次查询时使用的数据库名称 use dbName
jdbc.hive.Name=maat
maxPageSize=100000
@@ -243,8 +241,6 @@ isDebug=true
digest.gen.tool.path=maat-redis/digest_gen
#redis中有多少个数据库(需要加1,代码中用的小于不是小于等于)
maxRedisDBIndex=12
##存放编译,分组,域配置id关系的redis数据库编号

16
src/main/resources/spring-mvc.xml
View File

@@ -175,15 +175,21 @@
<!-- 添加restful服务的过滤 -->
<mvc:interceptor>
<mvc:mapping path="/service/**" />
<!-- <mvc:exclude-mapping path="/service/save" /> -->
<!-- <mvc:exclude-mapping path="/service/save" /> -->
<bean class="com.nis.interceptor.LogInterceptor" />
</mvc:interceptor>
<!-- 数据源拦截器，该拦截路径下使用数据源C -->
<!-- 日志数据源拦截器，该拦截路径下使用数据源C -->
<!-- <mvc:interceptor> -->
<!-- <mvc:mapping path="/service/log/**" /> -->
<!-- <mvc:mapping path="/log/**"/> -->
<!-- <bean class="com.nis.interceptor.DataSourceCInterceptor"></bean> -->
<!-- </mvc:interceptor> -->
<!-- 数据源拦截器，该拦截路径下使用数据源B -->
<mvc:interceptor>
<mvc:mapping path="/service/log/**" />
<mvc:mapping path="/log/**"/>
<bean class="com.nis.interceptor.DataSourceCInterceptor"></bean>
<mvc:mapping path="/service/cfg/**" />
<bean class="com.nis.interceptor.DataSourceBInterceptor"></bean>
</mvc:interceptor>
</mvc:interceptors>

62
src/main/resources/table.properties
View File

@@ -1,62 +1,6 @@
#由于数据中心日志表的表名会变动,所以本系统中将日志中心的表名提取到配置文件中方便后期修改
#\u6570\u636E\u4E2D\u5FC3hive\u6570\u636E\u5E93\u8868\u540D
df_ip_port_log=t_df_ip_port_log
df_http_req_log=t_df_http_req_log_v3
df_http_res_log=t_df_http_res_log_v3
df_http_keyword_log=t_df_http_keyword_log
df_mail_log=t_df_mail_log
df_dns_log=t_df_dns_log
df_ftp_log=t_df_ftp_log
df_pptp_log=t_df_pptp_log
df_l2tp_log=t_df_l2tp_log
df_ipsec_log=t_df_ipsec_log
df_openvpn_log=t_df_openvpn_log
df_ssh_log=t_df_ssh_log
df_ssl_log=t_df_ssl_log
df_tunnel_random_log=t_df_tunnel_random_log
#\u6570\u636E\u4E2D\u5FC3\u795E\u901A\u6570\u636E\u5E93A\u7248\u8868\u540D
DfIpPortLogA=t_xa_df_ip_port_log_hit_mpp
DfHttpReqLogA=t_xa_df_http_req_log_hit_mpp
DfHttpResLogA=t_xa_df_http_res_log_hit_mpp
DfHttpKeywordLogA=t_xa_df_http_keyword_log_hit_mpp
DfMailLogA=t_xa_df_mail_log_hit_mpp
DfDnsLogA=t_xa_df_dns_log_hit_mpp
DfFtpLogA=t_xa_df_ftp_log_hit_mpp
DfPptpLogA=t_xa_df_pptp_log_hit_mpp
DfL2tpLogA=t_xa_df_l2tp_log_hit_mpp
DfIpsecLogA=t_xa_df_ipsec_log_hit_mpp
DfOpenvpnLogA=t_xa_df_openvpn_log_hit_mpp
DfSshLogA=t_xa_df_ssh_log_hit_mpp
DfSslLogA=t_xa_df_ssl_log_hit_mpp
DfTunnelRandomLogA=t_xa_df_tunnel_random_log_hit_mpp
#\u795E\u901A\u6570\u636E\u5E93B\u7248\u8868\u540D
DfIpPortLogB=t_xa_df_ip_port_log_mpp
DfHttpReqLogB=t_xa_df_http_req_log_mpp
DfHttpResLogB=t_xa_df_http_res_log_mpp
DfHttpKeywordLogB=t_xa_df_http_keyword_log_mpp
DfMailLogB=t_xa_df_mail_log_mpp
DfDnsLogB=t_xa_df_dns_log_mpp
DfFtpLogB=t_xa_df_ftp_log_mpp
DfPptpLogB=t_xa_df_pptp_log_mpp
DfL2tpLogB=t_xa_df_l2tp_log_mpp
DfIpsecLogB=t_xa_df_ipsec_log_mpp
DfOpenvpnLogB=t_xa_df_openvpn_log_mpp
DfSshLogB=t_xa_df_ssh_log_mpp
DfSslLogB=t_xa_df_ssl_log_mpp
DfTunnelRandomLogB=t_xa_df_tunnel_random_log_mpp
#由于数据中心hive日志表的表名会变动,所以本系统中将日志的表名提取到配置文件中方便后期修改,key是bean的名称+HiveTable,value是hive的实际表名
NtcIpLogHiveTable=NTC_IP_LOG
NtcHttpLogHiveTable=NTC_HTTP_LOG