geedge-jira/md/OMPUB-586.md

# 【E21-现场】业主针对Top Applications的Report结果的质疑与展示方式的建议

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-586 | 2022-08-10T17:29:38.000+0800 | 刘洋 | 完成 |


---

1、业主要求在22.07版本Dashboard页面支持device group选择项：包括每个统计模块支持该选择项，整个main页面像时间选择一样，新增一个按钮可以选择整个页面统计Device Groups范围。

2、业主希望Report Result中traffic statistics中统计流量情况跟report的筛选条件匹配，例如统计Report配置的Data Range时间范围内对应device groups的流量情况。

3、业主对于application  report 统计出的bytes数据提出质疑。以psiphon为例，业主认为Bytes(IGW)<=Bytes(PE)+Bytes(GGSN)，但是现在IGW的字节远远大于PE+GGSN的字节数。

4、业主对于application report 统计出的TOP排名提出质疑。以psiphons为例，业主认为埃塞没有任何block，psiphon3占比没有那么高，至少不会在top2 不会有那么大的数据量。

 

关于3和4的报告和对比数据，参考上传的附件：
Top applications.pdf :所有站点统计出的数据

Top applications-IGW.pdf:添加device_group筛选，仅选择5个IGW站点的统计数据。
除此device_group之外两个report的条件都是一致的。

 

 **liuyang** commented on *2022-08-10T21:21:21.588+0800*:

# 问题1，需要先评估下需求和实现方案，时间应该赶不及22.07；
 # 问题2，如果一个report展示多个图形且过滤条件不一致，那么上方traffic statistics以哪个图形的过滤条为准都不对。业主如果向统计满足过滤条件的流量情况，可以再创建一个dataset统计流量趋势展示在同一个report中。[~liuju] 
 # 问题3，按照预想psiphon识别应该IGW<=PE+GGSN。但是针对Bytes(c+s)维度统计，IGW识别占全网83.51%，PE识别占全网16.05%，GGSN识别占全网0.44%。 请 [~qidaijie]  [~liuxueli] 看下。
 # 问题4，TOP 10的Application排名与用户认知不符，比如用户认为Netflix排名太低，psiphon排名太高。



---

**liuyang** commented on *2022-08-12T11:34:48.867+0800*:

对于问题3：麻烦[~liuju] 统计相同时间范围内，各局点psiphon应用的字节数和包数，以便进一步查看IGW中统计应用占比是否正确



---

**liuju** commented on *2022-08-12T15:11:36.269+0800*:

统计了和Top applications.pdf同时间段2022-08-09 15:41:00~2022-08-10 15:41:00 各局点psiphon应用的字节数和包数，并将统计结果上传到附件。[~liuyang] 
且因该时间段BJR-IGW 无数据，所以统计的报告只有15个站点的数据。
!image-2022-08-12-10-16-46-392.png|width=429,height=201!



---

**zhengchao** commented on *2022-08-12T18:45:21.772+0800*:

关于第一个需求，为每个Device Group定制一个Dashboard是否可以满足需求？



---

**liuju** commented on *2022-08-12T19:24:17.605+0800*:

第一个需求，为每个Device Group定制一个Dashboard可能对于哪天他只希望统计几个或者一类站点情况不满足，比如所有IGW站点这种情况。[~zhengchao] 业主希望类似下面这种：
!image-2022-08-12-14-24-04-583.png|width=557,height=278!



---

**doufenghu** commented on *2022-08-12T20:03:57.755+0800*:

需求1 ，可能是:
 * 业主自定义一个Dashboard ，选择想要关注的统计项。TSG 22.04 ，大部分Widgets 支持 Device Group 过滤，可多选。
 * 后续版本，自定义Dashboard支持全局过滤条件。例如：Data Center、Device Group、 VSYS ID 等。



---

**liuyang** commented on *2022-08-12T21:10:25.674+0800*:

在 [~luqiuwen] 的帮助下，针对问题3怀疑方向：（仅供参考）
 * Psiphon Server在国内：这样应该是IGW识别比例低；(x)
 * IGW单向流：这样应该也是IGW识别比例低；(x)
 * 通过白名单方式管控对抗类VPN应用误识别：主要三类主要特征
 ** Psiphon 3 Server IP：IGW和（PE+GGSN）识别率应该差不多 (x)
 ** Psiphon 3 Client IP & ! Top Server IP & !Top SNI： IGW是公网IP，一个内网IP用户被识别为psiphon client ip， NAT后公网IP也会被识别为psiphon client ip，该公网IP所有流量访问不在！范围内都会被认为psiphon，误识别流量比例增高？ (!)
 ** Psiphon 3 Client IP & CDN Server IP & !Top SNI：同上(!)
 * 其他原因？[~liuxueli]  



---

**liuyang** commented on *2022-08-14T14:00:22.817+0800*:

对于问题4，请 [~liuju]  在session records查询2022.8.9 15:41:00 - 2022.8.10 15:41:00时间内容是否有SSL.SNI LIKE %netflix% AND application label != Netflix的日志

!image-2022-08-14-14-01-15-580.png|width=462,height=237!



---

**liuju** commented on *2022-08-15T15:49:17.970+0800*:

对于问题4 ，要求查询统计的数据已查询完毕，结果参加截图。[~liuyang] 

!微信图片_20220815104531.png|thumbnail!



---

**liuju** commented on *2022-08-16T21:16:20.500+0800*:

2022-08-16 刚刚关于近期大家忙得report top 统计，业主给了时间节点要求本周五（2022-08-19）给出TOP 50  applications /urls 统计结果，因为下周他们需要给运营商回复邮件关于运营商要求统计的这些数据。[~liuyang] 
另外我问了业主，为何需要urls统计，业主说运营商没有说原因只是需要这个统计。



---

**liuyang** commented on *2022-08-19T11:40:26.592+0800*:

提供业主提供报告：
 # Dashboard导出一年的Top 100 Application，分别按照session，bytes排序；PDF无法修改，如果业主要求CSV可以去掉psiphon3，freegate；
 # 统计一个月的Report，分别做IGW,PE,GGSN的TOP100的Application，也按照session，bytes排序，如果业主要求可以去掉psiphon3，freegate；



---

**liuyang** commented on *2022-08-19T11:47:02.445+0800*:

对于用户提出应用在IGW字节和应用在全网字节占比问题，也就是问题3：因为一阶段施工PE站点接入不全，而且部分流量流量PE和GGSN会有重复，IGW和（PE+GGSN）做横向对比意义不是很大，建议三类局点分别查看。

对于用户提出psiphon3和freegate识别率过高，也就是问题4：我们系统对于这两个应用有误识别，所以识别的结果偏高

对于用户提出Netflix识别率也偏高问题：业主看到按照bytes降序排名Netflix在TOP 10；如果按照session降序排名，Netflix排名基本在60左右；如果按照去重client ip降序排序Netflix在TOP 100之外；



---



# Attachments

Attachment: image-2022-08-12-10-16-46-392.png

![image-2022-08-12-10-16-46-392.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30382/image-2022-08-12-10-16-46-392.png)



Attachment: image-2022-08-12-14-24-04-583.png

![image-2022-08-12-14-24-04-583.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30403/image-2022-08-12-14-24-04-583.png)



Attachment: image-2022-08-14-14-01-15-580.png

![image-2022-08-14-14-01-15-580.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30409/image-2022-08-14-14-01-15-580.png)



Attachment: Phiphon3+statics.pdf

[Phiphon3+statics.pdf](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30381/Phiphon3+statics.pdf)



Attachment: Top+applications.pdf

[Top+applications.pdf](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30292/Top+applications.pdf)



Attachment: Top+applications-iGW.pdf

[Top+applications-iGW.pdf](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30291/Top+applications-iGW.pdf)



Attachment: 微信图片_20220812100645.png

![微信图片_20220812100645.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30380/微信图片_20220812100645.png)



Attachment: 微信图片_20220812100652.png

![微信图片_20220812100652.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30379/微信图片_20220812100652.png)



Attachment: 微信图片_20220812100657.png

![微信图片_20220812100657.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30378/微信图片_20220812100657.png)



Attachment: 微信图片_20220815104531.png

![微信图片_20220815104531.png](https://gfwleak.exec.li/admin/geedge-jira/raw/branch/master/attachment/30436/微信图片_20220815104531.png)