122 lines
2.5 KiB
Markdown
122 lines
2.5 KiB
Markdown
# 【E21-OLAP】E现场Flink程序内存占用过高
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-339 | 2022-02-04T15:14:10.000+0800 | 戚岱杰 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
E现场DIR-IGW和OAP-PE站点olap程序占用内存过高，无法消除nezha告警信息。**qidaijie** commented on *2022-02-04T18:17:45.889+0800*:
|
||
|
||
上传排查问题时截取的资源情况图
|
||
|
||
|
||
|
||
---
|
||
|
||
**doufenghu** commented on *2022-02-07T10:49:28.704+0800*:
|
||
|
||
* OAP-PE Transaction Records 是 Session Records 两倍，看下Transaction Records (SIP/HTTP/DNS) 分布情况。
|
||
* Flink 每个Task 资源占用情况
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2022-02-17T15:20:34.755+0800*:
|
||
|
||
通过现场查询Transaction Records两天的协议分布情况，仅有HTTP和DNS协议。
|
||
|
||
2022-02-3:
|
||
所有局点当天总日志量：12520251632
|
||
||协议||数量||占比||
|
||
|HTTP|1406380225|11%|
|
||
|DNS|11113871407|89%|
|
||
|
||
OAP-PE局点当天总日志量：1167634678 占总日志量的 9%。
|
||
||协议||数量||占比||
|
||
|HTTP|36410169|4%|
|
||
|DNS|1131224509|96%|
|
||
|
||
2022-02-15:
|
||
所有局点当天总日志量：12913967467
|
||
||协议||数量||占比||
|
||
|HTTP|1572442201|12%|
|
||
|DNS|11341525266|88%|
|
||
|
||
OAP-PE局点当天总日志量：874410006 占总日志量的 7%。
|
||
||协议||数量||占比||
|
||
|HTTP|31220187|3%|
|
||
|DNS|843189819|97%|
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2022-02-21T10:17:36.367+0800*:
|
||
|
||
根据现场回传的日志情况 [^各局点日志速率分布情况.zip] ：
|
||
# PE及GGSN站点 普遍transaction比session大的情况。
|
||
# IGW站点 普遍session比transaction大。
|
||
与功能端同事沟通，现场的流量情况可能出现此情况；DNS在PE和GGSN较多，导致transaction比session大。[~liuxueli]
|
||
|
||
|
||
|
||
|
||
---
|
||
|
||
**qidaijie** commented on *2022-03-08T09:40:16.709+0800*:
|
||
|
||
* 经查看现场排查，该问题可能与Flink Taskmanager发生较多次Full GC，导致进程失联，恢复后内存资源未得到释放，触发NeZha告警。
|
||
* 新增Taskmanager进程失联检测方式后，规避进程失联问题，目前尚未收到相关告警。该问题需要持续追踪。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**25039/DIR-IGW-Taskmanager.png**
|
||
|
||
---
|
||
|
||
**25040/DIR-IGW服务器内存情况.png**
|
||
|
||
---
|
||
|
||
**25041/DIR-IGW日志量.png**
|
||
|
||
---
|
||
|
||
**25042/DIR-IGW容器内存.png**
|
||
|
||
---
|
||
|
||
**25043/OAP-PE-Taskmanager.png**
|
||
|
||
---
|
||
|
||
**25044/OAP-PE服务器内存情况.png**
|
||
|
||
---
|
||
|
||
**25045/OAP-PE日志量.png**
|
||
|
||
---
|
||
|
||
**25046/OAP-PE容器内存.png**
|
||
|
||
---
|
||
|
||
**25466/各局点日志速率分布情况.zip**
|
||
|
||
---
|
||
|
||
**25038/微信图片_20220204101054.png**
|
||
|
||
---
|
||
|