diff --git a/README.md b/README.md index f6b9f9e..f31530b 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,84 @@ # webskt-query-agent + + + +########################################## +########### VERSION-4.0-20210406 ######## +########################################## +1)whois和reputation分表存储,查询结果单独写入;同步导出只对份额里结果表进行 ✅ +2)域名查询策略:先完全匹配查数据库,然后阶段二级域名查数据库,最后完全匹配查brightcloud ✅ +3)增加匹配方式字段 match_pattern: 1-右匹配:二级域名;2-全匹配:非二级域名 ✅ + +注意:query_success实际上是没用的,目前记录到db里的全部是查询成功的。查询不成功的会打印到日志中 + +- 对URL分类库近200万域名进行了查询:查询结果报告更新至confluence ✅ +- 对k国数据进行查询:去掉.kz和.au后缀 + + +########################################## +########### VERSION-3.0-20210318 ######## +########################################## + +性能进一步优化: +1)数据库积累batch 查询 ✅ +优化性能:数据库查询5.5w/m;brightcloud查询7k-8k/m + +########################################## +########### VERSION-2.0-20210312 ######## +########################################## +修改: + +功能: +1)增加计费自统计功能(Offline每查询一个文件输出计次日志,update每update一次计次) ✅ +2)增加配置开关控制查询内容,只进行url_info查询,暂不查询whois和reputation ✅ +3)增加配置开关控制OfflineTask和UpdateTask,Update暂不开启 ✅ +4)WebSKT不做域名截断,只做去重、格式判断等简单校验,具体处理交给提交查询方CN去做 ✅ + 目前要求:只取两级域名,顶级域参照https://publicsuffix.org/list/ +5)目前调用api查询,无法设置为优先本地库查询(SDK可配置相关参数)⛔️ + +OfflineTask +1)用户导入csv格式的查询列表文件 ✅ +2)导入完成后用户手动添加后缀名(.compl) ✅ +3)定时任务设置改为秒级 ✅ +4)查询过程中产出日志,包括查询进度、查询百分比等 ✅ +5)查询结束后保存查询结果文件(xxx.result),同时修改导入文件后缀名为(.done) ✅ + +UpdataTask + +DB Sync +1)定时任务改为,用户触发,用户传入时间等参数执行同步脚本 ✅ +full_bak.sh: ✅ +默认导入文件名:websktDB_full-%Y%m%d-%H%M%S.csv,如websktDB_full-20210310-115442.csv +可指定文件名:如 +sh full_bak.sh -n filename +recent_bak.sh: ✅ +默认导入近7天新增记录,文件名为websktDB_recent-%Y%m%d-%H%M%S.csv,如websktDB_full-20210310-115442.csv +可指定文件名,新增时段(create_time字段筛选的起止时间点):如 +sh recent_bak.sh +sh recent_bak.sh -n filename +sh recent_bak.sh -s "2021-01-31 12:09:00" -e "2021-03-12" + +性能: +❗️offline查询过程: +1)单个fqdn遍历,查mariadb或调用api,全部遍历完成后插入数据库,效率低,一分钟处理300个fqdn +2)全部遍历完成后插入数据库,中间程序失败会造成数据库保存失败 +3)全部遍历完成后打印计次日志,中间程序失败会导致计次丢失 +修改为: +1)bc查询积累至100个之后批量查询,一分钟处理1300个,效率提高至4~5倍。✅ + +########################################## +############# 初版-20210308 ########### +########################################## + + + + + + + + + + + +