gfwleak/k18-ntcs-web-argus-service
Archived
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

1、删除多余的数据源和数据源拦截器，将行为日志迁到MySql上，并在日志查询接口上添加Blob类型转换工具；

Browse Source 
2、修改DNS响应策略配置 reqStrateId验证条件；
3、修改maat.xml，存储结构结尾无\n的都加上。
This commit is contained in:
zhangdongxu
2018-06-26 10:14:52 +08:00
parent 00aa2ea8d9
commit d2fc307d02
10 changed files with 154 additions and 241 deletions
Download Patch File Download Diff File Expand all files Collapse all files

132
src/main/resources/applicationContext-mybatis.xml
View File

@@ -54,29 +54,6 @@
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="ProductDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.product.driver}"></property>
<property name="jdbcUrl" value="${jdbc.product.url}"></property>
<property name="username" value="${jdbc.product.username}"></property>
<property name="password" value="${jdbc.product.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="LogDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
@@ -99,74 +76,6 @@
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="LogCDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.logC.driver}"></property>
<property name="jdbcUrl" value="${jdbc.logC.url}"></property>
<property name="username" value="${jdbc.logC.username}"></property>
<property name="password" value="${jdbc.logC.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="LogADataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.logA.driver}"></property>
<property name="jdbcUrl" value="${jdbc.logA.url}"></property>
<property name="username" value="${jdbc.logA.username}"></property>
<property name="password" value="${jdbc.logA.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
<bean id="JkDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.jk.driver}"></property>
<property name="jdbcUrl" value="${jdbc.jk.url}"></property>
<property name="username" value="${jdbc.jk.username}"></property>
<property name="password" value="${jdbc.jk.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<!--A版hive数据源定义，采用BoneCP连接池 ,业务配置服务数据库 -->
@@ -240,53 +149,12 @@
<property name="statementsCacheSize" value="${bonecp.cluster.statementsCacheSize}" />
</bean>
<!--测试数据源,后期会删除 -->
<bean id="TestDataSource" parent="parentDataSource"
class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="${jdbc.test.driver}"></property>
<property name="jdbcUrl" value="${jdbc.test.url}"></property>
<property name="username" value="${jdbc.test.username}"></property>
<property name="password" value="${jdbc.test.password}"></property>
<!-- 检查数据库连接池中空闲连接的间隔时间，单位是分，默认值：240，如果要取消则设置为0 -->
<property name="idleConnectionTestPeriodInMinutes" value="${bonecp.idleConnectionTestPeriodInMinutes}"></property>
<!-- 连接池中未使用的链接最大存活时间，单位是分，默认值：60，如果要永远存活设置为0 -->
<property name="idleMaxAgeInMinutes" value="${bonecp.idleMaxAgeInMinutes}" />
<!-- 每个分区最大的连接数 -->
<property name="maxConnectionsPerPartition" value="${bonecp.maxConnectionsPerPartition}" />
<!-- 每个分区最小的连接数 -->
<property name="minConnectionsPerPartition" value="${bonecp.minConnectionsPerPartition}" />
<!-- 分区数 ，默认值2，最小1，推荐3-4，视应用而定 -->
<property name="partitionCount" value="${bonecp.partitionCount}" />
<!-- 每次去拿数据库连接的时候一次性要拿几个,默认值：2 -->
<property name="acquireIncrement" value="${bonecp.acquireIncrement}" />
<!-- 缓存prepared statements的大小，默认值：0 -->
<property name="statementsCacheSize" value="${bonecp.statementsCacheSize}" />
</bean>
<bean id="dynamicDataSource" class="com.nis.datasource.DynamicDataSource">
<property name="targetDataSources">
<map key-type="java.lang.String">
<entry value-ref="DevlopDataSource" key="dataSourceA"></entry>
<entry value-ref="ProductDataSource" key="dataSourceB"></entry>
<entry value-ref="LogDataSource" key="dataSourceC"></entry>
<!--测试数据源,后期会删除 -->
<entry value-ref="TestDataSource" key="dataSourceD"></entry>
<entry value-ref="JkDataSource" key="dataSourceE"></entry>
<entry value-ref="LogADataSource" key="dataSourceF"></entry>
<entry value-ref="LogCDataSource" key="dataSourceG"></entry>
<entry value-ref="LogClusterDataSource" key="dataSourceH"></entry>
</map>
</property>
<property name="defaultTargetDataSource" ref="DevlopDataSource"></property>

2
src/main/resources/commonSources/commonSources.xml
View File

@@ -74,7 +74,7 @@
<t:field fieldType="String" srcName="service" dstName="service" isRequired="true"/>
<t:field fieldType="Number" srcName="action" dstName="action" isRequired="true"/>
<t:field fieldType="Number" srcName="cfgId" dstName="cfg_id" isRequired="true" />
<t:field fieldType="Number" srcName="reqStrateId" dstName="req_strate_id" isRequired="true" range="100-"/>
<t:field fieldType="Number" srcName="reqStrateId" dstName="req_strate_id" isRequired="true" regexp="[0]|[1-9]+[0-9]{2,}"/>
<t:field fieldType="String" srcName="strateName" dstName="strate_name" isRequired="true"/>
<t:field fieldType="Number" srcName="resGroup1Id" dstName="res_group_1_id" defaultVal="0"/>
<t:field fieldType="Number" srcName="resGroup1Num" dstName="res_group_1_num" defaultVal="0"/>

77
src/main/resources/jdbc.properties
View File

@@ -6,52 +6,24 @@ jdbc.devlop.username=dfh
jdbc.devlop.key=xLtQB+Bp6joOYrVIfBdrRA==
jdbc.devlop.password=/+7+DgxK++ZaD1nIcRRmDg==
jdbc.product.driver=oracle.jdbc.driver.OracleDriver
#jdbc.product.url=jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.10.17)(PORT = 1521))(LOAD_BALANCE = yes)(CONNECT_DATA =(SERVICE_NAME = ORCL)(FAILOVER_MODE =(TYPE = select)(METHOD = basic)(RETRIES = 180)(DELAY = 180))))
#jdbc.product.url=jdbc:oracle:thin:@10.0.6.212:1523:app
jdbc.product.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#jdbc.product.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#jdbc.product.url=jdbc:oracle:thin:@10.174.196.20:1521:orcl
#jdbc.product.username=kaz_maat
jdbc.product.username=zdx
#jdbc.product.username=dfxj_2015
#jdbc.product.username=gk_pz
#jdbc.product.username=z2_5x9pz
jdbc.product.key=3X3ZBejyxS7lkVsHVm9KTw==
jdbc.product.password=sHqDBZIUS0hYZCbC+1xN3A==
#==========日志库 Mysql=======================
jdbc.log.driver=com.mysql.jdbc.Driver
jdbc.log.url=jdbc:mysql://10.0.6.100:3306/galaxy?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
jdbc.log.username=dfh
jdbc.log.key=xLtQB+Bp6joOYrVIfBdrRA==
jdbc.log.password=/+7+DgxK++ZaD1nIcRRmDg==
jdbc.log.driver=oracle.jdbc.driver.OracleDriver
jdbc.log.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#==========================================
#==========日志库 Oracle ======================
##jdbc.log.driver=oracle.jdbc.driver.OracleDriver
##jdbc.log.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#jdbc.log.url=jdbc:oracle:thin:@10.174.196.22:1521:orcl
jdbc.log.username=zdx
##jdbc.log.username=zdx
#jdbc.log.username=z2_5x9logb
jdbc.log.key=pHl+0udycGQWNZcN68Sv9A==
jdbc.log.password=Z/pVMDXcWNxzVGAX0yRp3Q==
jdbc.logA.driver=oracle.jdbc.driver.OracleDriver
jdbc.logA.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#jdbc.logA.url=jdbc:oracle:thin:@10.174.196.21:1521:orcl
jdbc.logA.username=zdx
#jdbc.logA.username=z2_5x9loga
jdbc.logA.key=SXHfLUwzPw0cQEc1wzwM4w==
jdbc.logA.password=auvtDoVZpGP6P4OqfBrWAg==
jdbc.logC.driver=oracle.jdbc.driver.OracleDriver
jdbc.logC.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
jdbc.logC.username=zdx
jdbc.logC.key=MvwfUIYP0nLyiQeprHB/5A==
jdbc.logC.password=3HXvsqpbOoNBIkHDS5c9Aw==
jdbc.jk.driver=oracle.jdbc.driver.OracleDriver
jdbc.jk.url=jdbc:oracle:thin:@10.0.6.104:1521:orcl
#jdbc.jk.url=jdbc:oracle:thin:@10.174.196.20:1521:orcl
jdbc.jk.username=zdx
#jdbc.jk.username=z2_5x9jk
jdbc.jk.key=+FaavsHgQ0qBSebsAoochw==
jdbc.jk.password=wBrNar7gX/iQR7IyCSHuSg==
##jdbc.log.key=pHl+0udycGQWNZcN68Sv9A==
##jdbc.log.password=Z/pVMDXcWNxzVGAX0yRp3Q==
#============================================
bonecp.idleMaxAgeInMinutes=60
bonecp.idleConnectionTestPeriodInMinutes=240
bonecp.maxConnectionsPerPartition=50
@@ -90,10 +62,6 @@ jdbc.hiveA.password=V3GyFlG8Mg01bTt8ykFVaA==
#实际密码
#jdbc.hiveA.password=123!@#qwe
#B版日志库
jdbc.hiveB.driver=org.apache.hive.jdbc.HiveDriver
jdbc.hiveB.url=jdbc:hive2://10.3.130.25:10000/default
@@ -104,7 +72,6 @@ jdbc.hiveB.password=V3GyFlG8Mg01bTt8ykFVaA==
#实际密码
#jdbc.hiveB.password=123!@#qwe
bonecp.hive.idleMaxAgeInMinutes=60
bonecp.hive.idleConnectionTestPeriodInMinutes=240
bonecp.hive.maxConnectionsPerPartition=20
@@ -113,24 +80,12 @@ bonecp.hive.partitionCount=3
bonecp.hive.acquireIncrement=5
bonecp.hive.statementsCacheSize=100
############################################################################################################################################
#下面的库为测试库,测试完成后会删除
############################################################################################################################################
jdbc.test.driver=oracle.jdbc.driver.OracleDriver
jdbc.test.url=jdbc:oracle:thin:@10.0.6.212:1523:app
jdbc.test.username=gk_pztest
jdbc.test.key=cV9126WUYdojQjvuKNjidw==
jdbc.test.password=OrTu/cLwlduYPW/tmxqNgQ==
#####################################################################################################################################
##redis连接
#####################################################################################################################################
#redis.host=10.0.6.228
redis.host=10.0.6.249
redis.port=6380
redis.port=6379
redis.pass=
redis.maxIdle=5
redis.maxTotal=250

10
src/main/resources/maatXml/maat.xml
View File

@@ -27,7 +27,7 @@
<p:maatType service="265;266;393;394">
<p:expressions>
<p:keyExpression>EFFECTIVE_RULE;:;{un_maat_table_name};,;[cfg_id]</p:keyExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[level];\t;[description];\t;[is_valid]</p:valueExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[level];\t;[description];\t;[is_valid];\n</p:valueExpression>
</p:expressions>
<p:sequences>
<p:operation>1</p:operation>
@@ -48,7 +48,7 @@
<p:maatType service="3;4;25;28;29">
<p:expressions>
<p:keyExpression>EFFECTIVE_RULE;:;{un_maat_table_name};,;[cfg_id]</p:keyExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[addr_type];\t;[src_ip];\t;[mask_src_ip];\t;[src_port];\t;[mask_src_port];\t;[dst_ip];\t;[mask_dst_ip];\t;[dst_port];\t;[mask_dst_port];\t;[protocol];\t;[direction];\t;[is_valid];\t;[op_time]</p:valueExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[addr_type];\t;[src_ip];\t;[mask_src_ip];\t;[src_port];\t;[mask_src_port];\t;[dst_ip];\t;[mask_dst_ip];\t;[dst_port];\t;[mask_dst_port];\t;[protocol];\t;[direction];\t;[is_valid];\t;[op_time];&amp;nbsp;\n</p:valueExpression>
</p:expressions>
<p:sequences>
<p:operation>1</p:operation>
@@ -69,7 +69,7 @@
<p:maatType service="64">
<p:expressions>
<p:keyExpression>EFFECTIVE_RULE;:;{un_maat_table_name};,;[cfg_id]</p:keyExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[policyGroup];\t;[addr_type];\t;[src_ip];\t;[mask_src_ip];\t;[src_port];\t;[mask_src_port];\t;[dst_ip];\t;[mask_dst_ip];\t;[dst_port];\t;[mask_dst_port];\t;[protocol];\t;[direction];\t;[is_valid];\t;[op_time]</p:valueExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[policyGroup];\t;[addr_type];\t;[src_ip];\t;[mask_src_ip];\t;[src_port];\t;[mask_src_port];\t;[dst_ip];\t;[mask_dst_ip];\t;[dst_port];\t;[mask_dst_port];\t;[protocol];\t;[direction];\t;[is_valid];\t;[op_time];&amp;nbsp;\n</p:valueExpression>
</p:expressions>
<p:sequences>
<p:operation>1</p:operation>
@@ -90,7 +90,7 @@
<p:maatType service="65">
<p:expressions>
<p:keyExpression>EFFECTIVE_RULE;:;{un_maat_table_name};,;[cfg_id]</p:keyExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[req_strate_id];\t;[strate_name];\t;[res_group_1_id];\t;[res_group_1_num];\t;[res_group_2_id];\t;[res_group_2_num];\t;[res_group_3_id];\t;[res_group_3_num];\t;[res_group_4_id];\t;[res_group_4_num];\t;[res_group_5_id];\t;[res_group_5_num];\t;[min_ttl];\t;[max_ttl];\t;[is_valid]</p:valueExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[req_strate_id];\t;[strate_name];\t;[res_group_1_id];\t;[res_group_1_num];\t;[res_group_2_id];\t;[res_group_2_num];\t;[res_group_3_id];\t;[res_group_3_num];\t;[res_group_4_id];\t;[res_group_4_num];\t;[res_group_5_id];\t;[res_group_5_num];\t;[min_ttl];\t;[max_ttl];\t;[is_valid];\n</p:valueExpression>
</p:expressions>
<p:sequences>
<p:operation>1</p:operation>
@@ -110,7 +110,7 @@
<p:maatType service="832">
<p:expressions>
<p:keyExpression>EFFECTIVE_RULE;:;{un_maat_table_name};,;[cfg_id]</p:keyExpression>
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[policy_group];\t;[addr_type];\t;[ip];\t;[port];\t;[user_region];\t;[location];\t;[is_valid];\t;[op_time]
<p:valueExpression>[cfg_id];\t;[service];\t;[action];\t;[policy_group];\t;[addr_type];\t;[ip];\t;[port];\t;[user_region];\t;[location];\t;[is_valid];\t;[op_time];&amp;nbsp;\n
</p:valueExpression>
</p:expressions>
<p:sequences>

23
src/main/resources/spring-mvc.xml
View File

@@ -179,34 +179,13 @@
<bean class="com.nis.interceptor.LogInterceptor" />
</mvc:interceptor>
<!-- 数据源拦截器，该拦截路径下使用数据源B -->
<mvc:interceptor>
<mvc:mapping path="/service/cfg/**" />
<bean class="com.nis.interceptor.DataSourceBInterceptor"></bean>
</mvc:interceptor>
<!-- 数据源拦截器，该拦截路径下使用数据源C -->
<mvc:interceptor>
<mvc:mapping path="/service/log/**" />
<mvc:mapping path="/log/**"/>
<bean class="com.nis.interceptor.DataSourceCInterceptor"></bean>
</mvc:interceptor>
<!-- 数据源拦截器，该拦截路径下使用数据源D,后期会删除 -->
<mvc:interceptor>
<mvc:mapping path="/service/test/**" />
<bean class="com.nis.interceptor.DataSourceDInterceptor"></bean>
</mvc:interceptor>
<!-- 数据源拦截器，该拦截路径下使用数据源E -->
<mvc:interceptor>
<mvc:mapping path="/service/jk/**" />
<bean class="com.nis.interceptor.DataSourceEInterceptor"></bean>
</mvc:interceptor>
</mvc:interceptors>
<!-- 视图文件解析 -->