157 lines
6.2 KiB
Markdown
157 lines
6.2 KiB
Markdown
# 【E21-现场】业主新需求：要求统计top 50 URLs和Applications
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-583 | 2022-08-09T16:02:59.000+0800 | 刘洋 | 完成 |
|
||
|
||
|
||
---
|
||
|
||
详细需求描述：
|
||
|
||
业主在给我说明需求时，露出了一个写着telecom的文件，业主需求里指示的统计时间是看着这个盖了章的文件而给我的，原文件要求统计时间范围：2021-07 ~2022-06，我反馈2021-07 我们项目的系统还没安装，后统计时间改为从系统接入流量有数据直至2022-06 ，要求统计出这么长时间内IGW TOP 50 URLs和Applications 并展示Bytes和Packets.
|
||
|
||
|
||
|
||
现状是：咨询了Galaxy组研发关于E现场session record留存时间，从
|
||
* System Usage->setting-Max days traffic logs 为30天。
|
||
|
||
|
||
|
||
|
||
|
||
**liuju** commented on *2022-08-09T20:26:51.464+0800*:
|
||
|
||
!image-2022-08-09-18-11-34-610.png|thumbnail! 我看到了这里，也可以定制report，现在我无法立即明确回复业主的原因是关于业主要的report统计时间段，目前不满足，我们的session record 没有存储这么久。[~liuyang]
|
||
!image-2022-08-09-15-26-36-319.png!
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuyang** commented on *2022-08-09T20:44:23.575+0800*:
|
||
|
||
* 目前我们traffic log和files存储30天，metric数据存储365天。请[~qidaijie] 列出系统部署前日志存储时间评估的依据。并根据系统运行后流量情况，给出日志存储空间评估，以便我们讨论日志存储时间是否需要更改；
|
||
* Dashboard中有URL，Application的TOP N统计，数据来源Metric，可以统计近一年的信息。相比于Report数据来源于traffic log只能统计近30天的数据，Dashboard结果统计范围更长些（页面右上角选择时间范围）。但是目前dashboard只能统计全局信息，并不支持按照device group进行过滤。[~liuju]
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuju** commented on *2022-08-09T21:45:59.009+0800*:
|
||
|
||
嗯，好的。[~liuyang]
|
||
目前dashboard首页统计时间调整为从2021-10~~2022-06，可以看到traffic是从十一月中旬开始有的。
|
||
|
||
目前系统支持通过dashboard首页搜索2021-10~2022-06这时间段的TOP 10/100 URLs和applications统计数据，但是不支持按device group 进行统计，业主的需求里说明了只统计IGW的。
|
||
|
||
针对业主临时需求，是否可告知业主系统目前支持的情况，并给出以下解决方案，看业主反馈：
|
||
1、通过dashboard首页统计出2021-10~2022-06这时间段的TOP 10/100 URLs和applications统计数据（不区分device
|
||
|
||
_group）;
|
||
2、通过定制report，提供近1个月IGW TOP 50 URLs和Applications。
|
||
|
||
!image-2022-08-09-16-50-02-193.png|width=524,height=261!
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
!image-2022-08-09-16-50-34-196.png|width=541,height=272!
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuyang** commented on *2022-08-10T11:37:10.154+0800*:
|
||
|
||
[~liuju]
|
||
* 目前系统对数据的统计有如下两种方式。我觉得可以如实告知业主，并先提供一版本统计结果供业主查看。
|
||
** 如果要过滤device group或者其他条件，通过report制定报告，数据来源traffic log，根据现场存储设置，只能统计近30天信息；
|
||
** 如果查看全网流量概览，可以通过dashboard查看，数据来源metirc，根据现场存储配置，可以统计近365天信息，但是不能过滤条件；
|
||
* 如果业主对现在的统计结果不满意，有什么要求，我们可以再根据业主反馈讨论。
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuju** commented on *2022-08-10T15:04:10.181+0800*:
|
||
|
||
收到[~liuyang] 已如实告知业主目前系统对数据的统计有如下两种方式，并根据系统现状给业主展示针对他的需求，我们给出的两种统计方式，稍后业主自己会给他们领导说明和展示，暂时未收到反馈，若有反馈我会及时告知。
|
||
|
||
|
||
|
||
---
|
||
|
||
**liuju** commented on *2022-08-10T16:40:40.885+0800*:
|
||
|
||
洋姐[~liuyang] ，关于此次业主提出的需求，业主理解并知道我们log和metric存储时间，但是在此基础上对于我们统计出的数据提出了以下疑问和要求：
|
||
|
||
1、dashboard 通过metric统计的数据，业主要求在22.07版本支持device group选择项，包括每个统计模块支持选择项，整个main页面像时间选择一样，要新增一个按钮可以选择整个页面统计哪些Device-group的地方。
|
||
2、关于application report 根据目前统计一天的数据，业主认为traffic statistics 跟report的device_group筛选条件不匹配，因为Traffic Statistics的统计数据例如Total DeviceNum17 无论device group如何筛选，Traffic Statistics都是一样的。
|
||
3、关于application report 统计出的bytes 里IGW统计的数据和所有站点统计的数据bytes进行对比，IGW占比是不对，以psiphon为例，IGW占比和实际情况不符，业主认为统计数据是错的。
|
||
4、关于application report 统计出的TOP ，参考psiphons属于T0P2 在report里，业主也认为和实际不符，正常来说 埃塞没有任何block，psiphon3占比没有那么高，至少不会在top2 不会有那么大的数据量。
|
||
5、report时间的选择，不是完全自定义，不可以自定义指定时间段内的统计.
|
||
|
||
|
||
|
||
---
|
||
|
||
**doufenghu** commented on *2022-08-11T09:37:17.891+0800*:
|
||
|
||
* TSG 22.06 支持日志留存，业主可根据目前磁盘存储情况，表和字段可设置留存时间；
|
||
* TSG 22.04 支持自定义Dashboard， Top Application 可以基于device group进行定制。
|
||
** Top URLs 数据源为安全和代理事件，即基于策略命中后的统计结果；建议和业主了解下统计需求；[~liuyang]
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2022-08-12T19:10:16.801+0800*:
|
||
|
||
[~liuyang] 以现场目前日志量，每天存储8.5TB左右的原始日志；后续基本维持在这个量级的情况下，预计至多可存储43天((420TB * 0.9) / 8.5TB)。
|
||
!存储配额.png|thumbnail!
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**30246/7f0f28e9b294813d96ba2438a036fa4.png**
|
||
|
||
---
|
||
|
||
**30244/f910152c1c381bc66f29fc08b380309.jpg**
|
||
|
||
---
|
||
|
||
**30243/image-2022-08-09-15-26-08-853.png**
|
||
|
||
---
|
||
|
||
**30245/image-2022-08-09-15-26-36-319.png**
|
||
|
||
---
|
||
|
||
**30248/image-2022-08-09-16-50-02-193.png**
|
||
|
||
---
|
||
|
||
**30247/image-2022-08-09-16-50-34-196.png**
|
||
|
||
---
|
||
|
||
**30236/image-2022-08-09-18-11-34-610.png**
|
||
|
||
---
|
||
|
||
**30402/存储配额.png**
|
||
|
||
---
|
||
|