# 新疆移动扩容环境NEZHA 22.02版本 指标显示问题

| ID | Creation Date | Assignee | Status |
|----|----------------|----------|--------|
| OMPUB-508 | 2022-06-02T17:37:43.000+0800 | 史振东 | 已解决 |


---

   5月29日的省口运行环境例行巡检中，通过nezha监控发现ck日志入库量骤降，如

!图1.png|thumbnail!

经反馈大数据排查，ck无问题。

排查nezha步骤如下：

1、表达式探索，曲线与图1一致

2、裸指标探索，29日凌晨，nazha拉取指标的CK数量由37台降为11台

!图2.png|thumbnail!

3、数据源查看，ck暴露的指标可以正常查看

!图3.png|thumbnail!

4、endpoint状态 up

!图4.png|thumbnail!

5、prometheus target状态 up

!图5.png|thumbnail!

6、prometheus 指标查询，提供ck指标数量为37

!图6.png|thumbnail!

 

7、nezha相关程序均查看log，并重启，log无明显异常，重启后nezha界面查询ck数量仍然是11个。

8、待排查**fangshunjian** commented on *2022-06-07T11:28:02.297+0800*:

在 APM - Explore 页面
 * count(up\{module="NC-Clickhouse"}) 检查数值是否等于 37 [~jiayimeng] 



---

**jiayimeng** commented on *2022-06-07T11:46:40.957+0800*:

数值是37



---

**fangshunjian** commented on *2022-06-07T16:44:56.017+0800*:

nz-agent cortex proxy 接口部分结果 error，报空指针异常

!image-2022-06-07-16-44-04-571.png!



---

**shizhendong** commented on *2022-06-13T10:28:22.221+0800*:

Bug产生原因： 因 cortex  ingester 组件超过 用户 active series 最大数量，造成写入失败，导致上述 NEZHA 与 Prometheus 查询指标数量不一致问题。

定位：

1. nz-agent cortex proxy 接口报错问题通过代码方式解决，与该BUG无直接关系 

2. 排查 prometheus 日志

3. 排查 cortex 日志，发现 push error 日志，过滤后发现具体原因

!11111.png!

解决方式： 通过调整  limits_config.max_series_per_user 配置参数解决该问题

存在的其它问题：nz-agent 代理接口、日志记录方式 （已解决）



---



## Attachments

**28658/11111.png**

---

**28447/image-2022-06-07-16-44-04-571.png**

---

**28400/图1.png**

---

**28401/图2.png**

---

**28402/图3.png**

---

**28403/图4.png**

---

**28404/图5.png**

---

**28405/图6.png**

---