From f886b3443359a7d95da270fb81f3c54fa25c1886 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=B9=E5=A7=9C=E8=B0=8A?= Date: Thu, 17 Jun 2021 02:50:21 +0000 Subject: [PATCH] Delete README.md --- README.md | 84 ------------------------------------------------------- 1 file changed, 84 deletions(-) delete mode 100644 README.md diff --git a/README.md b/README.md deleted file mode 100644 index f31530b..0000000 --- a/README.md +++ /dev/null @@ -1,84 +0,0 @@ -# webskt-query-agent - - - - -########################################## -########### VERSION-4.0-20210406 ######## -########################################## -1）whois和reputation分表存储，查询结果单独写入；同步导出只对份额里结果表进行 ✅ -2）域名查询策略：先完全匹配查数据库，然后阶段二级域名查数据库，最后完全匹配查brightcloud ✅ -3）增加匹配方式字段 match_pattern: 1-右匹配：二级域名；2-全匹配：非二级域名 ✅ - -注意：query_success实际上是没用的，目前记录到db里的全部是查询成功的。查询不成功的会打印到日志中 - -- 对URL分类库近200万域名进行了查询：查询结果报告更新至confluence ✅ -- 对k国数据进行查询：去掉.kz和.au后缀 - - -########################################## -########### VERSION-3.0-20210318 ######## -########################################## - -性能进一步优化： -1）数据库积累batch 查询 ✅ -优化性能：数据库查询5.5w/m；brightcloud查询7k-8k/m - -########################################## -########### VERSION-2.0-20210312 ######## -########################################## -修改： - -功能： -1）增加计费自统计功能（Offline每查询一个文件输出计次日志，update每update一次计次） ✅ -2）增加配置开关控制查询内容，只进行url_info查询，暂不查询whois和reputation ✅ -3）增加配置开关控制OfflineTask和UpdateTask，Update暂不开启 ✅ -4）WebSKT不做域名截断，只做去重、格式判断等简单校验，具体处理交给提交查询方CN去做 ✅ - 目前要求：只取两级域名，顶级域参照https://publicsuffix.org/list/ -5）目前调用api查询，无法设置为优先本地库查询（SDK可配置相关参数）⛔️ - -OfflineTask -1）用户导入csv格式的查询列表文件 ✅ -2）导入完成后用户手动添加后缀名(.compl) ✅ -3）定时任务设置改为秒级 ✅ -4）查询过程中产出日志，包括查询进度、查询百分比等 ✅ -5）查询结束后保存查询结果文件(xxx.result)，同时修改导入文件后缀名为(.done) ✅ - -UpdataTask - -DB Sync -1）定时任务改为，用户触发，用户传入时间等参数执行同步脚本 ✅ -full_bak.sh: ✅ -默认导入文件名：websktDB_full-%Y%m%d-%H%M%S.csv，如websktDB_full-20210310-115442.csv -可指定文件名：如 -sh full_bak.sh -n filename -recent_bak.sh: ✅ -默认导入近7天新增记录，文件名为websktDB_recent-%Y%m%d-%H%M%S.csv，如websktDB_full-20210310-115442.csv -可指定文件名，新增时段(create_time字段筛选的起止时间点)：如 -sh recent_bak.sh -sh recent_bak.sh -n filename -sh recent_bak.sh -s "2021-01-31 12:09:00" -e "2021-03-12" - -性能： -❗️offline查询过程： -1）单个fqdn遍历，查mariadb或调用api，全部遍历完成后插入数据库，效率低，一分钟处理300个fqdn -2）全部遍历完成后插入数据库，中间程序失败会造成数据库保存失败 -3）全部遍历完成后打印计次日志，中间程序失败会导致计次丢失 -修改为： -1）bc查询积累至100个之后批量查询，一分钟处理1300个，效率提高至4~5倍。✅ - -########################################## -############# 初版-20210308 ########### -########################################## - - - - - - - - - - - -