gfwleak/enderbyendera-realtime-protection
Archived
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
164 Commits 2 Branches 0 Tags
076cb15a096fe69ecadcd990928e3507fec3e38a
Commit Graph

106 Commits

Author SHA1 Message Date
Hao Miao
b89fd6c3d0 1、kafka消费者@KafkaListener增加errorHandler属性记录consumer错误，增加properties解决数据获取子系统的消费者发来json数据无法解序列化； 
2、配置文件配置consumer反序列化错误处理
 2024-01-30 23:54:02 +08:00
Hao Miao
85410b9e53 1、Kafka consumer和producer的配置类注释掉不需要了 
2、添加kafka consumer和producer，消费者还需要做异常处理和生成指令
3、添加KafkaTopicConfig配置类，设置topic的Partition分区数
 2024-01-30 00:00:39 +08:00
Hao Miao
1be5269d1d 1、AlertMessage实体类增加content字段，并同步mapper中新增、查询方法增加content字段 
2、DynamicRuleObject实体类新增log_rule_id属性，并同步mapper中新增、查询方法增加log_rule_id字段
3、StaticRule新建增加ip、maskip是否匹配的判断，批量新建和更新还没增加。
 2024-01-29 23:41:13 +08:00
EnderByEndera
e48f837b64 1. 暂时去除AlertMessage.java中的implements以便于SpringBoot构建成功 
2. 修改project.conf.template为project_template.conf
3. 修改README.md，添加大量项目部署解释
4. 添加StateChangeService.java中关于状态模式的相关解释
 2024-01-25 19:55:23 +08:00
Hao Miao
e9313f2420 1、AlertMessage类移动位置 
2、动态规则增加删除判断，如果使用任务处于运行、暂停，不允许删除动态规则。(静态规则不需要删除判断，因为指令已经下发。但动态规则配置不能删除，告警信息过来会找不到动态规则)
 2024-01-25 17:29:54 +08:00
Hao Miao
6f54afc5f4 Merge remote-tracking branch 'origin/master' 2024-01-25 01:26:13 +08:00
Hao Miao
f368c312ba 1、whitelist增加whiteListCommandsCheck、whiteListStaticRulesCheck。支持前端发送staticRuleIds列表，查询静态规则是否存在白名单。记录白名单check指令的问题 2024-01-25 01:25:42 +08:00
EnderByEndera
0da97a5254 1. 更新前端界面和Nginx配置 
2. 更新Dockerfile设置
 2024-01-24 16:36:03 +08:00
Hao Miao
02dd20743f 1、whitelist查询返回审核状态字段，task查询返回动作字段 
2、解决alertmessageTest出错
 2024-01-24 14:06:49 +08:00
Hao Miao
31277b7246 1、解决指令按条件查询总数bug 
2、动态、静态规则新增批量查询功能
 2024-01-23 23:26:15 +08:00
Hao Miao
389483989c Merge remote-tracking branch 'origin/master' 2024-01-23 12:17:30 +08:00
Hao Miao
b6e046c754 1、动态、静态规则、任务、白名单、防护对象、策略模板的查询总数增加了条件 
2、指令分页查询还有bug
 2024-01-23 12:17:10 +08:00
EnderByEndera
2a3550cc1b 修改build.gradle以解决gradle编译问题 2024-01-23 00:30:30 +08:00
EnderByEndera
9d7a72d76c Merge remote-tracking branch 'origin/master' 2024-01-22 23:41:06 +08:00
EnderByEndera
7432dbd5be 1. 修改部分逻辑 2024-01-22 23:40:48 +08:00
Hao Miao
121fff1d18 AlertMessage: 
1、AlertMessage记录为command时设置is_judegd
2、AlertMessageMapper的getDynamicTaskInfos根据taskID和dynamicRuleId获取生成指令所需信息
TaskCommandInfo
3、TaskCommandInfo添加isJudged属性
test
1、解决test的报错
 2024-01-22 23:29:50 +08:00
EnderByEndera
095eb88eb3 1. 修改TaskController中的setCommandJudged方式，现在它将直接修改t_command中的IS_JUDGED字段 
2. queryCommandInfos方法现在添加了筛选条件以及分页查询
 2024-01-22 20:10:54 +08:00
EnderByEndera
d6cf33f299 合并分支并重新提交 2024-01-22 15:41:20 +08:00
EnderByEndera
32643ccf54 Merge remote-tracking branch 'origin/master' 2024-01-22 15:40:13 +08:00
EnderByEndera
3d50cb9493 1. 修改防护对象、策略模板和任务的Swagger文档 
2. 修改任务和指令部分逻辑
 2024-01-22 15:40:03 +08:00
Hao Miao
193862ff3e 1、AlertMessage删除is_distribute属性 
2、修改为total_num
3、StateEnum新增getStateEnumByNum方法
 2024-01-22 15:05:15 +08:00
Hao Miao
63e7270c92 1、修改swagger，scheme中增加显示对象属性 2024-01-21 20:40:31 +08:00
Hao Miao
44abfe096c AlertMessage： 
1、alertmessage添加is_distribute（待删除）、command_uuid、create_time、modify_time、alert_message_uuid属性。
2、AlertMessageController添加queryAlarmsByCommandId方法，根据commandUUID查询alertmessage
3、AlertMessageMapper添加新建、查询alertmessage
4、service重写处理alertmessage逻辑，现在alertmessage的isdistribute不需要了，需要删除
Command：
1、service添加updateCommandVaid方法，用于对研判后任务生成的指令研判下发
Task：
1、TaskCommandInfo类添加taskStatus，减少AlertMessageService的查询，并做了标注
2、Controller添加研判后任务下发指令\停止指令的方法validCommandInfoByTaskId
StaticRule、DynamicRule、WhiteList：
1、添加分页查询返回数据总数
 2024-01-21 00:51:10 +08:00
EnderByEndera
073dfc9ba4 在CommandInfo字段中添加isValid字段 2024-01-19 15:45:06 +08:00
EnderByEndera
449c320261 1. 修改setDataMap函数为addDataMap以防止swagger将DataMap视为一种属性 
2. 当任务未通过审核时，现在会立刻报错而不是返回false
 2024-01-19 15:09:23 +08:00
EnderByEndera
1d317eb10f Merge remote-tracking branch 'origin/master' 2024-01-19 10:59:29 +08:00
Hao Miao
cb6ca74df7 1、添加AlertMessage http接口，接收告警信息。 
2、AlertMessage对象增加dynamicRuleId属性。需要发送时也携带dynamicRuleId字段
3、AlertMessageService添加获取dynamicRule对应的template，并根据template对AlertMessage中的FiveTupleWithMask进行筛选策略模板所需字段；添加生成TaskCommandInfo入Doris库
4、TaskCommandInfo新增templateId、protectLevel属性，方便AlertMessageService中查询任务的策略模板
5、前端响应字段的bug修复
 2024-01-18 23:35:56 +08:00
EnderByEndera
eb570436ab Merge remote-tracking branch 'origin/master' 2024-01-17 19:22:56 +08:00
Hao Miao
914b0f0e2a 1、增加AlertMessage http接口，接收告警信息，生成指令入库 
2、staticrule优先级、频率限制范围
 2024-01-17 19:20:45 +08:00
EnderByEndera
0ab46a51f1 1. 添加CorsFilter以支持localhost:8000的跨域请求 
2. 添加DynamicTaskInfo实体类以用于处理BW系统的body
3. 新添加动态规则生成方法
 2024-01-17 19:07:04 +08:00
EnderByEndera
7112e85a26 1. 添加AuditAdvice类，用以向审计接口持续发送用户操作数据 
2. 添加任务结束状态Scheduled方法，用以周期性扫库将任务修改为已结束状态
 2024-01-17 09:44:29 +08:00
Hao Miao
3a770192b3 Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	src/main/java/com/realtime/protection/server/rule/dynamicrule/DynamicRuleControllerApi.java
#	src/main/java/com/realtime/protection/server/rule/staticrule/StaticRuleControllerApi.java
 2024-01-15 20:42:57 +08:00
EnderByEndera
6cfe4bf5d3 1. 删除Command类，Doris数据库改用TaskCommandInfo类作为实体类 
2. 取消FailedState和GeneratingState的使用
3. 修改部分bug
 2024-01-15 20:40:55 +08:00
Hao Miao
07d253ef8a Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	src/main/java/com/realtime/protection/server/rule/dynamicrule/DynamicRuleControllerApi.java
#	src/main/java/com/realtime/protection/server/rule/dynamicrule/DynamicRuleService.java
#	src/main/java/com/realtime/protection/server/rule/staticrule/StaticRuleControllerApi.java
#	src/main/resources/mappers/StaticRuleMapper.xml
#	src/test/java/com/realtime/protection/server/rule/dynamic/DynamicRuleServiceTest.java
#	src/test/java/com/realtime/protection/server/rule/staticrule/StaticRuleServiceTest.java
 2024-01-15 18:16:52 +08:00
Hao Miao
8315e6ee43 1、DynamicRule的新增、更新添加对id、protectObjectId的判断；分页查询添加creator、sourceSystem查询条件；按id查询新增template_id为null的判断 
2、StaticRule新增usedTaskStatus字段，多查单查返回usedTaskStatus；增、改、查、改审核状态添加id无效判断；
分页新增creator、ip查询条件
3、whiteList修改审核status，添加id无效判断
 2024-01-15 18:13:53 +08:00
EnderByEndera
ee10a17aea hotfix: 
修改部分API注释bug
 2024-01-13 10:23:48 +08:00
Hao Miao
135a1ae04c 1、动态规则、静态规则、白名单修改完善接口设计，添加API文档 
2、动态规则数据库删除event_type、source_system字段，新增template_id,HTTP接口接收template_id。
3、静态规则添加修改审核状态功能、按id删除功能
 2024-01-12 23:46:11 +08:00
EnderByEndera
8a719709a3 1. 添加策略模板API文档 2024-01-12 19:24:19 +08:00
EnderByEndera
c1a5d2462f 1. 添加部分swagger文档 2024-01-12 14:31:34 +08:00
EnderByEndera
8f545110f1 Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	src/main/java/com/realtime/protection/server/whitelist/WhiteListMapper.java
 2024-01-11 19:50:19 +08:00
EnderByEndera
0f712618f2 1. application.yml修改为application-dev.yml和application-prod.yml 
2. 添加更多Exception拦截器
3. 编写状态模式处理task状态的更改
4. 添加StateChangeService，用以处理所有任务状态转换相关的内容
5. 添加StateEnum, ProtocolEnum，TaskTypeEnum用以处理任务和协议相关的所有状态和类型
 2024-01-11 19:49:07 +08:00
Hao Miao
6a24e4a692 1、WhiteList新增testWhiteListCommandJudge方法，判断指令是否命中白名单 
existWhiteListObject方法根据规则id，判断规则是否命中白名单还有待完善
 2024-01-11 17:08:10 +08:00
Hao Miao
930ba8b5ac 1、DynamicRule实现新增、删除、修改、id查询、分页查询功能。并在crud时与ProtectObject关联。 
2、StaticRule添加批量导入、模板文件下载功能，使用sqlSessionWrapper重写批量删除
3、WhiteList添加模板文件下载功能
 2024-01-11 11:41:50 +08:00
EnderByEndera
a04b83e4c3 1. 添加doris数据源 
2. 添加StateMapper，准备进行oracle数据库对接
 2024-01-09 09:20:13 +08:00
EnderByEndera
2b04a7d6ce 1. 新增数据源oracle，已在application.yml中配置 
2. 新增任务状态类，未来将在切换任务状态中使用
3. 新增ProtectLevel实体类，用来存储Template对应的三种防护等级数据
4. Task实体类中删除protectObjectIds，因为MySQL表结构发生修改
5. TaskController新增audit和delete路由，用以审核和删除Task
6. TemplateMapper新增newProtectLevel方法
7.
 2024-01-08 20:01:20 +08:00
Hao Miao
1e9fe37d0d 1.完成的excel批量新增、按id删除、批量删除、按id查询、分页查询、按id新增、修改审核状态 
（excel批量新增还未http请求测试）
（批量新增、批量删除、修改审核状态已复用sy代码）
2、查询ip是否存在于白名单功能初步实现，仍不完善
 2024-01-08 00:22:14 +08:00
松岳 陈
db02907f0a 1. 添加防护对象文件上传下载配置 
2. 修改SqlSessionWrapper，添加注释
 2024-01-07 17:54:28 +08:00
EnderByEndera
0fb8dd87fe 1. 新增AuditStatusValidator类，用以作为审核状态机 
2. 新建DataListener，用以读取excel文件
3. 完成防护对象配置所有接口
4. 添加SqlSessionWrapper类用以进行批处理
5. ProtectObject类添加更多校验（IP、大小等）
 2024-01-05 21:42:19 +08:00
松岳 陈
776c7c0f6d 1. 添加HandlerMethodValidationException全局异常器 
2. 新增防护对象类，添加Service、Mapper、Controller（Controller仍然在开发中）
3. page和pageSize添加@Min注解，限定最低整数大小
4. 将所有的批量类型方法修改为forEach，在SpringBoot中循环执行并整合为事务
 2024-01-05 09:32:19 +08:00
Hao Miao
b4db26c856 Merge remote-tracking branch 'origin/master' 2024-01-04 17:05:48 +08:00