commit 70b7ceb52a12c02a058df69493ff13553f5256df Author: 戚岱杰 Date: Mon Aug 23 09:01:40 2021 +0000 更新README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..25a4a3f --- /dev/null +++ b/README.md @@ -0,0 +1,34 @@ +# log-stream-completion-schema + +基于查询网关的动态日志预处理程序,接收原始日志根据对应schema定义进行数据清洗 +并将结果回写Kafka。 + + +## 函数功能列表 +* current_timestamp +> 获取当前时间戳,若追加字段已有时间戳,不予以覆盖 +* snowflake_id +> 雪花ID函数,返回一个一定条件内不重复的 long 类型数值 +* geo_ip_detail +> IP定位库,获取对应IP的详细地理位置信息,城市,州/省,国家 +* geo_asn +> ASN定位库,获取对应IP的ASN信息 +* geo_ip_country +> IP定位库,获取对应IP的地理位置信息,仅包含 国家 +* set_value +> 给予字段固定值 +* get_value +> 获取字段值并追加到新的字段 +* if +> IF函数实现,解析日志构建三目运算;包含判断是否为数字若为数字则转换为long类型返回结果。 +* sub_domain +> 获取顶级域名 +* radius_match +> 根据IP解析对应raidus用户,借助于HBase存储数据。 +* app_match +> 根据APP_ID获取对应的APP名称 +* decode_of_base64 +> 根据编码解码base64,若编码字段为空则根据默认编码解析(UTF-8) +* flattenSpec +> 根据表达式解析json +