Commit Graph

163 Commits

Author SHA1 Message Date
zhengchao
c1fbb6f7be 【IRIS文件模式】处理乱序到达的情况:无论增量或全量的index中table文件按不存在,maat不变更版本号,重试至table文件到达,或更高版本的全量index到达。 2017-09-16 15:02:12 +08:00
zhengchao
bf13fc7345 美化日志输出。 2017-09-15 20:00:14 +08:00
zhengchao
d05902f95c maat json在处理默认值时,未能清空valuedouble,导致对effective_rage拼写错误的兼容性问题。 2017-09-13 11:40:56 +08:00
zhengchao
c7af487e41 Maat读取redis出错时,未能清空已append的数据,可能导致TCP接收队列阻塞。 2017-09-11 18:58:29 +08:00
zhengchao
d276b664d0 日志中输出线程ID,方便调试。 2017-09-10 19:02:28 +08:00
zhengchao
0a399b0555 可以正确处理redis中配置版本号回绕。 2017-08-31 15:17:36 +08:00
zhengchao
cdba1add45 redis的最大批量调整为1024,避免因事务频繁失败,导致不能expire配置。 2017-08-29 10:16:10 +08:00
zhengchao
98889123aa 修复超时淘汰时,未能正确删除MAAT_LABEL_INDEX。 2017-08-25 13:11:23 +08:00
zhengchao
d223895e3d 1、hiredis客户端append超过2400万后出现段错误,maat每次最多append 8K条数据。
2、修复redis中配置为空时,不能正确清空配置的bug。
2017-08-24 17:39:40 +08:00
zhengchao
f5b1b08ee9 提供选项:MAAT_OPT_DEFERRED_LOAD,支持延迟初始化。 2017-08-22 10:03:38 +08:00
zhengchao
64a9284430 未完成:支持异步加载。 2017-08-21 13:59:49 +08:00
zhengchao
733bf35a30 有效expr_id应为大于等于0. 2017-08-17 18:29:01 +08:00
zhengchao
578f36d57c 修复多个相似串/摘要规则加载的bug。 2017-08-16 18:23:09 +08:00
zhengchao
caf26c0112 增加Redis读取失败的出错处理,修复笔误导致的MAAT_UPDATE_STATUS淘汰未生效。 2017-08-15 09:14:44 +08:00
zhengchao
94f69b0f6d 增加Redis重启、不可用场景下的错误处理,已在线部署一个局点。 2017-08-12 11:13:47 +08:00
zhengchao
f72cf74b8c 增加增量更新状态删除功能。实现select index 功能。 2017-08-10 18:31:20 +08:00
zhengchao
37972b3552 IRIS配置文件模式下,在读取表文件第一行时发现不在tableinfo里时,不进行后继行的加载,仅报错一次,加快启动速度。 2017-08-09 18:27:08 +08:00
zhengchao
e4341ebea1 手工修复合并中的错误。 2017-08-07 17:08:52 +08:00
zhengchao
f3a763d9a3 Merge branch 'master' into MAAT_REDIS
# Conflicts:
#	src/entry/Maat_rule.cpp
2017-08-07 16:30:08 +08:00
zhengchao
84a75c4494 1、由于取全量配置时不是原子的,keys命令拿到的配置,在get时已经置为OBSOLETE,进行了修复。
2、修复删除label时,忘记进行append计数;
2017-08-07 16:21:23 +08:00
zhengchao
d9af8ba6ff 【重要Bug修复】延迟删除机制与Rulescan延迟更新机制发生冲突。当两次删除配置删除间隔小于rulescan延迟更新时间时,会导致扫描线程访问已释放的group_rule,轻则崩溃,重则思索。 2017-08-03 18:37:33 +08:00
zhengchao
80d620de70 在线exprid2region_id命中大量相同的district,导致锁冲突,将group中的互斥锁改为读写锁。 2017-08-02 18:30:16 +08:00
zhengchao
7c61b8a893 修改Maat中对sfh头文件引用。 2017-07-10 16:52:47 +08:00
zhengchao
6a89f18d2f 在Maat_command.h中增加Maat_str_escape函数,供用户预先处理待输入的字符串规则。 2017-07-08 16:42:51 +08:00
zhengchao
6339fa37c5 1、更新SFH和GIE;2、支持相似性字符串匹配; 2017-07-07 20:47:27 +08:00
zhengchao
3571096bb6 1、支持配置超时;2、支持plugin配置;3、支持标签查询;4、支持通过redis获取全局序列号; 2017-07-06 21:20:24 +08:00
zhengchao
f3999170db 编译通过,原有功能正常。 2017-07-04 20:13:36 +08:00
zhengchao
fa3c675fd9 只需要将compile_hash设为线程安全,即可保证command线程和update线程的安全访问。 2017-07-03 20:15:39 +08:00
zhengchao
63b1a9b13e 初步完成编码,待解决配置结构化哈希的多线程安全访问。 2017-07-03 19:54:47 +08:00
zhengchao
7e68a46292 配置的组织关系放在Redis中。 2017-07-03 12:53:12 +08:00
zhengchao
07ea788eea 在处理MAAT组合扫描中最后一个域时,必须之前没有任何分组命中,才能进入快速路径。上一版本存在漏报可能。 2017-06-28 09:51:19 +08:00
zhengchao
255f0392be 可以提示MAAT组合扫描中最后一个域,可以提升与表达式运算性能。 2017-06-24 21:38:11 +08:00
zhengchao
8c4139c1bd cm_read_cfg_index_file函数由fscanf改为fgets后,feof行为变化,导致索引文件行数误判的bug。该bug在支持加密时引入。 2017-06-15 17:56:06 +08:00
zhengchao
96910820bb 修复MAAT_OPT_SCAN_DETAIL选项的默认值,应为返回命中位置,随不能发挥最大性能,但可以保持向前兼容。 2017-06-13 20:19:16 +08:00
zhengchao
37a94ea838 支持表文件加密。 2017-06-09 20:46:28 +08:00
zhengchao
e0cc61d7a7 修复boudary判断错误。 2017-05-24 14:03:15 +08:00
zhengchao
f6249e31dd add_expr_rule的去重功能,回终止在grouprule中记录的expr_id的加载,导致delete时,删除未在rulescan中加载的expr_id,命中batchupdate中的assert。 2017-05-24 13:55:35 +08:00
zhengchao
ad15c6ec50 改进对digest类配置扫描速度的统计方式,原来只对触发GIE查询的输入做统计,改为所有输入文件都计入。 2017-04-23 12:19:36 +08:00
zhengchao
b870440d21 BUGFIX:修复expr_plus类型扫描误命中bug,原因是进行MAAT_SET_SCAN_DISTRICT时,如果district不存在,导致本次扫描时,错误的使用上次的district_id,进而误命中。 2017-02-17 18:16:37 +08:00
zhengchao
bad140f8df 改进在redhat 7.2和glibc2.12以下的编译问题。 2017-01-11 14:39:28 +08:00
zhengchao
9ee4a7a5ea 修复回调类配置注册线程不安全问题:若注册时恰好有配置更新,将产生无start的update callback。该问题由刘学利在线发现。 2017-01-03 09:38:10 +08:00
zhengchao
c52c998343 重大bug:修复del_region_rule时未处理expr_plus表的bug。修复删除逻辑中,region_counter取rule_type错误的bug。 2016-12-30 18:07:19 +08:00
zhengchao
9519d558e9 设置MAAT配置监听线程名称,便于debug。 2016-12-29 12:15:42 +08:00
zhengchao
b17870141e 修复域表配置计数bug:配置更新时,table->cfg_num与rulescan中实际的配置数可能不一致,导致扫描中rulescan产生调用无效subtype的错误日志。 2016-12-28 18:06:34 +08:00
zhengchao
621ae259fa 增加配置更新的测试用例。 2016-12-26 17:20:59 +08:00
zhengchao
d3cf39e698 全量更新时,清空各表的统计计数。 2016-12-26 16:27:57 +08:00
zhengchao
d8dd75888e 更新版本号。 2016-12-19 11:28:05 +08:00
zhengchao
de9dc909d8 提前进行expr类表加载时的格式校验。 2016-12-19 10:14:27 +08:00
zhengchao
220b3ec04c 1、修复postpone机制中最小更新间隔时间判断错误的bug;2、maat_stat中增加compile、group、plugin、postpone的统计。 2016-12-15 12:05:48 +08:00
zhengchao
4cc035a54e 修复URLencode不能正确处理z,9,Z的问题。 2016-11-23 16:52:04 +08:00