zhengchao
|
6e50978258
|
maat stat输出plugin（含EX data）、fqdn_plugin、IP_plugin中有效规则的数量。调整outer scan_status的计数方式。
|
2021-10-24 12:04:11 +03:00 |
|
zhengchao
|
d954c5a011
|
expr_plus和interval_plus表的district对英文大小写不敏感。
|
2021-10-20 00:02:43 +03:00 |
|
zhengchao
|
51b26e3a54
|
修复expr_plus和expr混合扫描时，expr漏命中的问题。
|
2021-10-12 09:55:53 +03:00 |
|
zhengchao
|
2eb2a4aca9
|
修复bug：对于已命中编译配置的mid，扫描expr_plus或interval_plus表，命中表达式/区间，但没命中district时，会错误的返回之前已命中的编译配置。
|
2021-10-11 19:16:17 +03:00 |
|
zhengchao
|
593bcfb907
|
修复 TSG-7994 ，避免处理未知district时出现误命中。
|
2021-10-11 12:00:26 +03:00 |
|
zhengchao
|
d86d220f33
|
Rebase. 适配支持Prometheus输出的Field Stat2
|
2021-08-19 22:10:36 +08:00 |
|
zhengchao
|
50934de91d
|
Plugin表更新后，不需要进行Hierarchy的重建。
|
2021-08-05 13:51:17 +08:00 |
|
zhengchao
|
c7e9b29309
|
IP Plugin和FQDN Plugin内部实现垃圾回收，不再由外部调用。
|
2021-08-05 00:39:32 +08:00 |
|
zhengchao
|
e356d74bc0
|
重构table runtime工作量较大，准备放弃。
|
2021-08-05 00:22:00 +08:00 |
|
zhengchao
|
7e3b746eaa
|
未对FQDN Plugin表的changed_flag进行重置，产生不必要的FQDN Engine重建
|
2021-08-04 23:18:02 +08:00 |
|
zhengchao
|
dc057b2562
|
减少增量更新时hier重建的写锁临界区，减少扫描线程的所冲突。 修复 TSG-7211
|
2021-07-27 11:54:24 +08:00 |
|
zhengchao
|
479eb77369
|
基于Maat_cmd的测试用例增加扫描状态输出。
|
2021-07-21 15:30:30 +08:00 |
|
zhengchao
|
0037646ef6
|
因使用MAAT_SET_SCAN_NO_COUNT后，在Group移除region id时会出现误命中，移除对MAAT_SET_SCAN_NO_COUNT的支持。 回调表使用feather中的垃圾回收队列，便于观察队列长度。
|
2021-07-21 14:48:08 +08:00 |
|
zhengchao
|
72ffbd9809
|
修复bug：上一版本引入，region更新不能反映到compile命中；
改善Maat_hierarchy_compile_mid_udpate的处理性能。
|
2021-07-20 20:55:52 +08:00 |
|
zhengchao
|
1e2e3a1798
|
改进Hierarchy的多线程扫描性能： Hierarchy使用rwlock来保证更新线程和扫描线程间的线程安全， 测试发现在不发生读写锁冲突的情况下， 读写锁的固有开销会导致并发扫描速度降低。
reference:
https://stackoverflow.com/questions/11866486/how-many-simultaneous-readers-can-a-pthread-rwlock-have
|
2021-07-19 20:55:12 +08:00 |
|
zhengchao
|
233bc2f0ef
|
Maat_set_scan_status可以设置MAAT_SET_SCAN_NO_COUNT类型参数， 指示下一次扫描不进行计数，以减少hit path的存储开销。
|
2021-07-19 20:55:12 +08:00 |
|
郑超
|
6d5a42fb4a
|
提高expr_plus和interval_plus表的扫描性能
|
2021-07-15 03:59:09 +00:00 |
|
zhengchao
|
1c08363dc4
|
bool Matcher对输入的item id（clause id）排序和去重，会改变外部ut_array内容，可能造成风险， 去除bool matcher 中的这部分代码。
|
2021-07-01 14:42:14 +08:00 |
|
郑超
|
8bf48ba1f3
|
Feature faster bool matcher on reptead item
|
2021-06-15 01:32:46 +00:00 |
|
zhengchao
|
fe73ef1156
|
Hierarchy中，使用垃圾回收方式释放compile，避免bool_matcher命中已删除的compile后，从而非法内存访问导致段错误。 修复 TSG-6548
|
2021-06-01 21:40:20 +08:00 |
|
zhengchao
|
7980d87924
|
bool matcher中引用了已经被释放的compile，导致段错误。 TSG-6548
|
2021-06-01 21:19:41 +08:00 |
|
zhengchao
|
85daf06a79
|
TSG-6345 redis断开期间redis内的数据发生变化，且版本号未发生回滚，导致maat无法加载新配置。 修复方法： 重连redis后，触发全量配置更新。
|
2021-05-13 17:51:23 +08:00 |
|
zhengchao
|
f2fac87894
|
修复bug： TSG-6324 在流式扫描过程中，发生版本号回滚导致的全量更新后，Maat_stream_scan_string_end释放rulescan流式扫描句柄时，会非法访问已被销毁的rulescan句柄内存，从而导致段错误。
|
2021-05-13 16:11:37 +08:00 |
|
zhengchao
|
c1355dd3e5
|
为了便于单元测试，支持设置垃圾回收时间，默认10秒。
|
2021-04-28 12:06:34 +08:00 |
|
zhengchao
|
66c294feae
|
确认bug修复：组合扫描命中域配置或编译配置时，进行全量更新，会导致的hierarchy导致的死锁。 更新版本号为 v3.1.19
|
2021-04-20 15:04:02 +08:00 |
|
zhengchao
|
0f6eccbb47
|
增加hierarachy中为每个线程分配expr_buff，以修复使用用户设置的缓冲区大小，导致不命中的bug。
|
2021-04-19 10:27:11 +08:00 |
|
郑超
|
f82454a310
|
修复bug：ip_plugin和fqdn_plugin的扫描线程可能访问到无效的EX_data_container，导致#26； plugin的扫描线程和更新线程发生线程不安全访问EX_data_rt中的uthash。
|
2021-03-20 08:09:52 +00:00 |
|
liuxueli
|
673eeb9413
|
校验子句的序号值，避免越界重启
|
2021-03-15 11:25:59 +08:00 |
|
liuxueli
|
dc6d324b52
|
生效范围支持对\b、\\、\&字符转义
|
2021-03-11 09:36:07 +08:00 |
|
zhengchao
|
af64b86de8
|
增加版本号
|
2021-03-08 20:04:12 +08:00 |
|
zhengchao
|
593cb23a7d
|
更新版本号到3.1.11
|
2021-01-29 21:08:14 +08:00 |
|
zhengchao
|
e12bef3033
|
Maat_hierarchy_compile_mid_update_by_compile中的assert并不准确：在扫描命中region后，进行region_compile之前,该region被删除时，此region不会加入hit_path。
|
2021-01-29 21:06:32 +08:00 |
|
zhengchao
|
653727e19a
|
增加删除8个子串的与表达式的测试用例
|
2020-12-20 19:54:39 +06:00 |
|
zhengchao
|
f908f2e3ac
|
修复加载8个字符串与表达式报错的bug TSG-4717；增加Hierarchy日志中输出去重后Clause的数量。
|
2020-12-16 10:51:34 +06:00 |
|
zhengchao
|
df48863c65
|
1. 提高group被大量compile同时引用的性能
2. 修复Maat_hierarchy_region_compile中对literal_ids的线程不安全访问，在配置更新时可导致段错误。
|
2020-12-05 13:39:48 +06:00 |
|
zhengchao
|
b9779088b9
|
对命中clause_id的数量设置上限，避免同时命中compile数量过多时，utarray排序耗时过大。
|
2020-11-24 21:08:40 +06:00 |
|
zhengchao
|
17c450f8c3
|
修改字符串配置编码转换失败的告警级别，从FATAL降为Debug，
|
2020-11-24 21:08:40 +06:00 |
|
zhengchao
|
12c29eb375
|
更新版本号到3.1.4
|
2020-11-24 21:08:39 +06:00 |
|
zhengchao
|
dda54b519e
|
修复删除FQDN Plugin配置时产生的内存泄露。
|
2020-10-19 16:11:25 +08:00 |
|
刘学利
|
a80aad28bd
|
Export version upload to sentry
|
2020-10-09 16:07:11 +08:00 |
|
zhengchao
|
807ffd4270
|
加载全量配置读取value时，如key中不包含生效的table name则不加载。
|
2020-09-30 15:48:34 +08:00 |
|
zhengchao
|
2f45768d2a
|
支持虚拟表建立在多个不同类型物理表上。
|
2020-09-27 23:02:02 +08:00 |
|
zhengchao
|
0713a4a576
|
FQDN Plugin加载、扫描、更新测试通过，遗留FQDN_engine后缀匹配不命中的Bug待修复。
|
2020-09-19 21:11:38 +08:00 |
|
zhengchao
|
58daab14ad
|
引入FQDN Engine，以支持FQDN Plugin。
|
2020-09-19 10:08:56 +08:00 |
|
zhengchao
|
ca6b8e206f
|
更新配置时，未加判断的调用Maat_table_runtime_apply_new_ip_matcher，导致ip_matcher被清空。
|
2020-09-17 15:52:23 +08:00 |
|
zhengchao
|
a1d23a13e1
|
table info使用interval称呼数值类表，同时兼容原intval两种命名。扫描规则用interval表示数值范围，扫描输入用intval表示int数值。
|
2020-08-22 19:13:13 +08:00 |
|
liuxueli
|
6b892eb103
|
上传遗漏的changelog.sh文件
|
2020-08-22 18:52:25 +08:00 |
|
liuxueli
|
0c694b5f98
|
增加增强数值扫描功能及对应测试用例
增加changelog到rpm包
|
2020-08-22 18:52:25 +08:00 |
|
zhengchao
|
3791c9426e
|
IP Plugin更新后重置计数器。
|
2020-08-20 10:37:55 +08:00 |
|
zhengchao
|
a44e14f82d
|
删除IP Plugin表项时，未能及时更新ip_matcher，也未能正确同步uthash和ip_matcher的状态，导致ip_matcher返回了已被删除的ex_data。解决方案：
- 在IP Plugin的table runtime中增加垃圾回收队列，延迟删除EX_data，并延后ip_matcher在扫描线程的生效时机。
- 在scanner中增加ip_plugin_update_q_size，在IP Plugin的table runtime中增加changed_flag，以判断ip_matcher是否需要更新
|
2020-08-19 22:57:37 +08:00 |
|