【E21现场】界面查询一周Live Traffice Chart数据，展示结果异常

ID	Creation Date	Assignee	Status
OMPUB-855	2023-03-20T15:48:08.000+0800	杨威	已关闭

界面查询一周Live Traffice Chart数据，展示结果异常。

查询时间范围2023-03-13~2023-03-20

目前查询结果，查询1天的数据，展示正常。

查询两天的就数据异常了。

详情见附件.qidaijie commented on 2023-03-21T18:13:19.461+0800:

根据现场查询，在会话日志中发现一条异常日志：

common_c2s_byte_num和common_c2s_byte_diff字段为一个负值：-8054763456257060000
日志时间问题： ** common_end_time与common_start_time差值为37秒（1679158918-1679158881），但发送了common_c2s_byte_diff/common_s2c_byte_diff字段 ** common_ingestion_time与common_end_time差值为300秒（1679159218-1679158918）
common_stream_dir查看为c2s单向流，且common_s2c_pkt_num为0，但填写了common_s2c_byte_num和common_s2c_byte_diff字段值：327517

后续根据异常流ID查询2023-03-18一天，仅在会话日志中发现这一条异常日志。

!Clickhouse客户端查询结果.png|thumbnail!

因日志为当地时间 2023-03-18 20:01:58 左右产生，已无法从kafka内消费到原始日志；麻烦 [~liuxueli] 帮忙确认下该条日志问题 [^error_data_telegram_0318-19.csv]。

qidaijie commented on 2023-03-22T16:02:08.603+0800:

现场在统计2023-03-20 - 2023-03-21的IGW流量时发现，存在一条异常日志。[^error_big_c2sbyte_230322.json]

在2023-03-17 - 2023-03-18号存在一条common_c2s_byte_num和common_c2s_byte_diff的值为-50 的日志。[^error_data_17-18_230322.json]

doufenghu commented on 2023-04-10T15:29:03.622+0800:

OLAP 临时处置，通过ETL补全清洗掉异常值。[~yangwei] 提供下bytes/packets的最大阈值。

yangwei commented on 2023-04-10T18:19:10.388+0800:

功能端使用uint32存储传输字节数和包数（理论上存在包数不超，但是字节数溢出的可能性），最大合理阈值范围为：

bytes和packets>0，小于4294967296

本issue中岱杰附上的异常日志中，包数仅为13-14，字节数明显超长，并不属于上述括号中提及的字节数溢出情况

yangwei commented on 2023-07-03T11:58:48.110+0800:

[~songlongkun] 麻烦补充下现场是否仍有issue中描述的情况，如未复现，考虑先关闭本issue。

此外该issue已经在22.11 LTS版本中修复，升级后如有问题，建议另外开issue处理。

songlongkun commented on 2023-07-03T14:32:50.281+0800:

分别查看了近五个周的Live Traffice Chart数据展示情况，展示结果均正常，目前近期未曾复现该issue中的情况。

Attachments

36404/10.224.11.249.har

36471/Clickhouse客户端查询结果.png

36497/error_big_c2sbyte_230322.json

36512/error_data_17-18_230322.json

36470/error_data_telegram_0318-19.csv

36406/接口返回内容截图.png

36403/微信图片_20230320104643.png

36407/微信图片_20230320105751.png

36408/微信图片_20230320105924.png