geedge-jira/md/OMPUB-583.md

# 【E21-现场】业主新需求：要求统计top 50  URLs和Applications 

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-583 | 2022-08-09T16:02:59.000+0800 | 刘洋 | 完成 |


---

详细需求描述：

业主在给我说明需求时，露出了一个写着telecom的文件，业主需求里指示的统计时间是看着这个盖了章的文件而给我的，原文件要求统计时间范围：2021-07 ~2022-06，我反馈2021-07 我们项目的系统还没安装，后统计时间改为从系统接入流量有数据直至2022-06 ，要求统计出这么长时间内IGW TOP 50 URLs和Applications 并展示Bytes和Packets.

 

现状是：咨询了Galaxy组研发关于E现场session record留存时间，从
 * System Usage->setting-Max days  traffic  logs 为30天。

 

 

 **liuju** commented on *2022-08-09T20:26:51.464+0800*:

!image-2022-08-09-18-11-34-610.png|thumbnail! 我看到了这里，也可以定制report，现在我无法立即明确回复业主的原因是关于业主要的report统计时间段，目前不满足，我们的session record 没有存储这么久。[~liuyang] 
!image-2022-08-09-15-26-36-319.png!



---

**liuyang** commented on *2022-08-09T20:44:23.575+0800*:

* 目前我们traffic log和files存储30天，metric数据存储365天。请[~qidaijie] 列出系统部署前日志存储时间评估的依据。并根据系统运行后流量情况，给出日志存储空间评估，以便我们讨论日志存储时间是否需要更改；
 * Dashboard中有URL，Application的TOP N统计，数据来源Metric，可以统计近一年的信息。相比于Report数据来源于traffic log只能统计近30天的数据，Dashboard结果统计范围更长些（页面右上角选择时间范围）。但是目前dashboard只能统计全局信息，并不支持按照device group进行过滤。[~liuju] 



---

**liuju** commented on *2022-08-09T21:45:59.009+0800*:

嗯，好的。[~liuyang] 
目前dashboard首页统计时间调整为从2021-10~~2022-06，可以看到traffic是从十一月中旬开始有的。

目前系统支持通过dashboard首页搜索2021-10~2022-06这时间段的TOP 10/100  URLs和applications统计数据，但是不支持按device group 进行统计，业主的需求里说明了只统计IGW的。

针对业主临时需求，是否可告知业主系统目前支持的情况，并给出以下解决方案，看业主反馈：
1、通过dashboard首页统计出2021-10~2022-06这时间段的TOP 10/100  URLs和applications统计数据（不区分device

_group）;
2、通过定制report，提供近1个月IGW TOP 50 URLs和Applications。

!image-2022-08-09-16-50-02-193.png|width=524,height=261!

 

 

 

!image-2022-08-09-16-50-34-196.png|width=541,height=272!



---

**liuyang** commented on *2022-08-10T11:37:10.154+0800*:

[~liuju] 
 * 目前系统对数据的统计有如下两种方式。我觉得可以如实告知业主，并先提供一版本统计结果供业主查看。
 ** 如果要过滤device group或者其他条件，通过report制定报告，数据来源traffic log，根据现场存储设置，只能统计近30天信息；
 ** 如果查看全网流量概览，可以通过dashboard查看，数据来源metirc，根据现场存储配置，可以统计近365天信息，但是不能过滤条件；
 * 如果业主对现在的统计结果不满意，有什么要求，我们可以再根据业主反馈讨论。



---

**liuju** commented on *2022-08-10T15:04:10.181+0800*:

收到[~liuyang] 已如实告知业主目前系统对数据的统计有如下两种方式，并根据系统现状给业主展示针对他的需求，我们给出的两种统计方式，稍后业主自己会给他们领导说明和展示，暂时未收到反馈，若有反馈我会及时告知。



---

**liuju** commented on *2022-08-10T16:40:40.885+0800*:

洋姐[~liuyang] ，关于此次业主提出的需求，业主理解并知道我们log和metric存储时间，但是在此基础上对于我们统计出的数据提出了以下疑问和要求：

1、dashboard 通过metric统计的数据，业主要求在22.07版本支持device group选择项，包括每个统计模块支持选择项，整个main页面像时间选择一样，要新增一个按钮可以选择整个页面统计哪些Device-group的地方。
2、关于application report 根据目前统计一天的数据，业主认为traffic statistics 跟report的device_group筛选条件不匹配，因为Traffic Statistics的统计数据例如Total DeviceNum17 无论device group如何筛选，Traffic Statistics都是一样的。
3、关于application  report 统计出的bytes 里IGW统计的数据和所有站点统计的数据bytes进行对比，IGW占比是不对，以psiphon为例，IGW占比和实际情况不符，业主认为统计数据是错的。
4、关于application report 统计出的TOP ，参考psiphons属于T0P2 在report里，业主也认为和实际不符，正常来说 埃塞没有任何block，psiphon3占比没有那么高，至少不会在top2 不会有那么大的数据量。
5、report时间的选择，不是完全自定义，不可以自定义指定时间段内的统计.



---

**doufenghu** commented on *2022-08-11T09:37:17.891+0800*:

* TSG 22.06 支持日志留存，业主可根据目前磁盘存储情况，表和字段可设置留存时间；
 * TSG 22.04 支持自定义Dashboard， Top Application 可以基于device group进行定制。
 ** Top URLs 数据源为安全和代理事件，即基于策略命中后的统计结果；建议和业主了解下统计需求；[~liuyang] 



---

**qidaijie** commented on *2022-08-12T19:10:16.801+0800*:

[~liuyang] 以现场目前日志量，每天存储8.5TB左右的原始日志；后续基本维持在这个量级的情况下，预计至多可存储43天((420TB * 0.9) / 8.5TB)。 
!存储配额.png|thumbnail! 



---



# Attachments

Attachment: 7f0f28e9b294813d96ba2438a036fa4.png

![7f0f28e9b294813d96ba2438a036fa4.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30246/7f0f28e9b294813d96ba2438a036fa4.png)



Attachment: f910152c1c381bc66f29fc08b380309.jpg

![f910152c1c381bc66f29fc08b380309.jpg](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30244/f910152c1c381bc66f29fc08b380309.jpg)



Attachment: image-2022-08-09-15-26-08-853.png

![image-2022-08-09-15-26-08-853.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30243/image-2022-08-09-15-26-08-853.png)



Attachment: image-2022-08-09-15-26-36-319.png

![image-2022-08-09-15-26-36-319.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30245/image-2022-08-09-15-26-36-319.png)



Attachment: image-2022-08-09-16-50-02-193.png

![image-2022-08-09-16-50-02-193.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30248/image-2022-08-09-16-50-02-193.png)



Attachment: image-2022-08-09-16-50-34-196.png

![image-2022-08-09-16-50-34-196.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30247/image-2022-08-09-16-50-34-196.png)



Attachment: image-2022-08-09-18-11-34-610.png

![image-2022-08-09-18-11-34-610.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30236/image-2022-08-09-18-11-34-610.png)



Attachment: 存储配额.png

![存储配额.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30402/存储配额.png)