2.完善文件名后缀种类
基于查询网关的动态日志预处理程序,接收原始日志根据对应schema定义进行数据清洗 同时将文件及文件元数据以约定格式写入对应Topic内供文件加载程序使用 并将结果回写到Kafka。