【E21-现场】业主新需求：要求统计top 50 URLs和Applications

ID	Creation Date	Assignee	Status
OMPUB-583	2022-08-09T16:02:59.000+0800	刘洋	完成

详细需求描述：

业主在给我说明需求时，露出了一个写着telecom的文件，业主需求里指示的统计时间是看着这个盖了章的文件而给我的，原文件要求统计时间范围：2021-07 ~2022-06，我反馈2021-07 我们项目的系统还没安装，后统计时间改为从系统接入流量有数据直至2022-06 ，要求统计出这么长时间内IGW TOP 50 URLs和Applications 并展示Bytes和Packets.

现状是：咨询了Galaxy组研发关于E现场session record留存时间，从

System Usage->setting-Max days traffic logs 为30天。

liuju commented on 2022-08-09T20:26:51.464+0800:

!image-2022-08-09-18-11-34-610.png|thumbnail! 我看到了这里，也可以定制report，现在我无法立即明确回复业主的原因是关于业主要的report统计时间段，目前不满足，我们的session record 没有存储这么久。[~liuyang] !image-2022-08-09-15-26-36-319.png!

liuyang commented on 2022-08-09T20:44:23.575+0800:

目前我们traffic log和files存储30天，metric数据存储365天。请[~qidaijie] 列出系统部署前日志存储时间评估的依据。并根据系统运行后流量情况，给出日志存储空间评估，以便我们讨论日志存储时间是否需要更改；
Dashboard中有URL，Application的TOP N统计，数据来源Metric，可以统计近一年的信息。相比于Report数据来源于traffic log只能统计近30天的数据，Dashboard结果统计范围更长些（页面右上角选择时间范围）。但是目前dashboard只能统计全局信息，并不支持按照device group进行过滤。[~liuju]

liuju commented on 2022-08-09T21:45:59.009+0800:

嗯，好的。[~liuyang] 目前dashboard首页统计时间调整为从2021-10~~2022-06，可以看到traffic是从十一月中旬开始有的。

目前系统支持通过dashboard首页搜索2021-10~2022-06这时间段的TOP 10/100 URLs和applications统计数据，但是不支持按device group 进行统计，业主的需求里说明了只统计IGW的。

针对业主临时需求，是否可告知业主系统目前支持的情况，并给出以下解决方案，看业主反馈： 1、通过dashboard首页统计出2021-10~2022-06这时间段的TOP 10/100 URLs和applications统计数据（不区分device

_group）; 2、通过定制report，提供近1个月IGW TOP 50 URLs和Applications。

!image-2022-08-09-16-50-02-193.png|width=524,height=261!

!image-2022-08-09-16-50-34-196.png|width=541,height=272!

liuyang commented on 2022-08-10T11:37:10.154+0800:

[~liuju]

目前系统对数据的统计有如下两种方式。我觉得可以如实告知业主，并先提供一版本统计结果供业主查看。 ** 如果要过滤device group或者其他条件，通过report制定报告，数据来源traffic log，根据现场存储设置，只能统计近30天信息； ** 如果查看全网流量概览，可以通过dashboard查看，数据来源metirc，根据现场存储配置，可以统计近365天信息，但是不能过滤条件；
如果业主对现在的统计结果不满意，有什么要求，我们可以再根据业主反馈讨论。

liuju commented on 2022-08-10T15:04:10.181+0800:

收到[~liuyang] 已如实告知业主目前系统对数据的统计有如下两种方式，并根据系统现状给业主展示针对他的需求，我们给出的两种统计方式，稍后业主自己会给他们领导说明和展示，暂时未收到反馈，若有反馈我会及时告知。

liuju commented on 2022-08-10T16:40:40.885+0800:

洋姐[~liuyang] ，关于此次业主提出的需求，业主理解并知道我们log和metric存储时间，但是在此基础上对于我们统计出的数据提出了以下疑问和要求：

1、dashboard 通过metric统计的数据，业主要求在22.07版本支持device group选择项，包括每个统计模块支持选择项，整个main页面像时间选择一样，要新增一个按钮可以选择整个页面统计哪些Device-group的地方。 2、关于application report 根据目前统计一天的数据，业主认为traffic statistics 跟report的device_group筛选条件不匹配，因为Traffic Statistics的统计数据例如Total DeviceNum17 无论device group如何筛选，Traffic Statistics都是一样的。 3、关于application report 统计出的bytes 里IGW统计的数据和所有站点统计的数据bytes进行对比，IGW占比是不对，以psiphon为例，IGW占比和实际情况不符，业主认为统计数据是错的。 4、关于application report 统计出的TOP ，参考psiphons属于T0P2 在report里，业主也认为和实际不符，正常来说埃塞没有任何block，psiphon3占比没有那么高，至少不会在top2 不会有那么大的数据量。 5、report时间的选择，不是完全自定义，不可以自定义指定时间段内的统计.

doufenghu commented on 2022-08-11T09:37:17.891+0800:

TSG 22.06 支持日志留存，业主可根据目前磁盘存储情况，表和字段可设置留存时间；
TSG 22.04 支持自定义Dashboard， Top Application 可以基于device group进行定制。 ** Top URLs 数据源为安全和代理事件，即基于策略命中后的统计结果；建议和业主了解下统计需求；[~liuyang]

qidaijie commented on 2022-08-12T19:10:16.801+0800:

[~liuyang] 以现场目前日志量，每天存储8.5TB左右的原始日志；后续基本维持在这个量级的情况下，预计至多可存储43天((420TB * 0.9) / 8.5TB)。 !存储配额.png|thumbnail!