gfwleak/galaxy-tsg-olap-log-completion-schema

Archived

This repository has been archived on 2025-09-14. You can view files and clone it, but cannot push or open issues or pull requests.

Go to file

qidaijie 933b58ec18 1：增加GTPC用户信息补全函数功能。(TSG-11152)

2：优化HBase更新策略，增加scan最大数量限制。
3：增加缓存存储GTPC上下行TEID，用于单向流补全处理。
4：增加时间判断，选用最新的TEID信息。

2022-08-26 11:46:10 +08:00

properties

1：增加GTPC用户信息补全函数功能。(TSG-11152)

2022-08-26 11:46:10 +08:00

src

1：增加GTPC用户信息补全函数功能。(TSG-11152)

2022-08-26 11:46:10 +08:00

pom.xml

1：增加GTPC用户信息补全函数功能。(TSG-11152)

2022-08-26 11:46:10 +08:00

README.md

1:增加GTPC补全功能。

2022-08-04 10:16:08 +08:00

README.md

log-stream-completion-schema

基于Nacos的动态日志预处理程序，接收原始日志根据对应Schema定义进行数据清洗，并将结果回写Kafka。
当Nacos上Schame变更后可动态获取到最新版本的信息，无需重启任务。

函数功能列表

current_timestamp

获取当前时间戳，若追加字段已有时间戳，不予以覆盖。

snowflake_id

雪花ID函数，返回一个一定条件内不重复的 long 类型数值。
https://git.mesalab.cn/bigdata/algorithm/snowflake

geo_ip_detail

IP定位库，获取对应IP的详细地理位置信息，城市,州/省,国家

geo_asn

ASN定位库，获取对应IP的ASN信息

geo_ip_country

IP定位库，获取对应IP的地理位置信息，仅包含国家

set_value

给予字段固定值。

get_value

获取字段值并追加到新的字段。

IF函数实现，解析日志构建三目运算;包含判断是否为数字若为数字则转换为long类型返回结果。

sub_domain

获取顶级域名

radius_match

根据IP获取对应的Raidus用户信息。
实际数据存储在HBase中，依赖RADIUS-RELATIONSHIP-HBASE-V2程序；使用时加载到内存中加速查询。

app_match

根据APP_ID获取对应的APP名称

decode_of_base64

根据编码解码base64，若编码字段为空则根据默认编码解析(UTF-8)

flattenSpec

根据表达式解析json,使用jsonPath工具类
https://github.com/json-path/JsonPath

README.md Unescape Escape

log-stream-completion-schema

函数功能列表

README.md