114 lines
2.4 KiB
Markdown
114 lines
2.4 KiB
Markdown
# 【E21现场】国家中心NZ服务器10.224.11.3-6硬盘/分区使用率接近80%
|
||
|
||
| ID | Creation Date | Assignee | Status |
|
||
|----|----------------|----------|--------|
|
||
| OMPUB-875 | 2023-03-29T16:16:49.000+0800 | 史振东 | 已关闭 |
|
||
|
||
|
||
---
|
||
|
||
查询过去24小时告警，发现NeZha Server3频繁出现Disk_usages_sysroot和NZ Disk space告警；
|
||
|
||
后续查询了国家中心的8台NZ服务器，发现10.224.11.3-6，这四台硬盘/分区使用率已接近80%；
|
||
|
||
最终定位到/var/log/messages文件占用较大，而且目前还在持续频繁写入日志，详情如下：
|
||
|
||
10.224.11.3：79% messages 84G
|
||
|
||
10.224.11.4：68% messages 51G
|
||
|
||
10.224.11.5：80% messages 237G
|
||
|
||
10.224.11.6：72% messages 208G
|
||
|
||
附件包含以下内容：
|
||
|
||
告警截图，以及这四台服务器硬盘空间占用情况、messages文件大小截图和对应服务器的messages文件部分内容截图。**shizhendong** commented on *2023-03-29T16:24:56.724+0800*:
|
||
|
||
通过执行 ll /var/log -hl | grep messages 命令，发现 /var/log 目录下只存在一个 message 文件，logrotate 未生效
|
||
!11.png!
|
||
|
||
|
||
|
||
---
|
||
|
||
**shizhendong** commented on *2023-03-29T16:47:19.384+0800*:
|
||
|
||
通过检查其他服务器，确认 10.224.11.3-10 八台服务器存在该问题，均为 National Center NZ Server
|
||
!33.png!
|
||
|
||
|
||
|
||
---
|
||
|
||
**shizhendong** commented on *2023-03-30T09:20:27.331+0800*:
|
||
|
||
排查步骤：
|
||
* 检查其他日志是否被轮播
|
||
# ll /var/log
|
||
* 检查 rsyslog 状态
|
||
# systemctl status rsyslog
|
||
* 检查 cron 状态
|
||
# systemctl status crond.service
|
||
* 检查 logrotate syslog
|
||
# logrotate -d -f /etc/logrotate.d/syslog
|
||
* 查看 logrotate 状态
|
||
# cat /var/lib/logrotate/logrotate.status
|
||
|
||
其中检查发现 cron 服务未开启，由于 Logrotate 是基于 crond.service 实现日志轮播的，所以造成了该问题
|
||
|
||
注：centos 默认不开启 crond.service（开机不自启）
|
||
|
||
|
||
|
||
现已将 10.224.11.3-6 都执行启动了 crond 并开机自启，并手动对日志进行轮播，持续观察中
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
## Attachments
|
||
|
||
**36714/11.png**
|
||
|
||
---
|
||
|
||
**36722/33.png**
|
||
|
||
---
|
||
|
||
**36713/微信图片_20230329110851.png**
|
||
|
||
---
|
||
|
||
**36712/微信图片_20230329110902.png**
|
||
|
||
---
|
||
|
||
**36711/微信图片_20230329110906.png**
|
||
|
||
---
|
||
|
||
**36710/微信图片_20230329110913.png**
|
||
|
||
---
|
||
|
||
**36709/微信图片_20230329110917.png**
|
||
|
||
---
|
||
|
||
**36708/微信图片_20230329110920.png**
|
||
|
||
---
|
||
|
||
**36707/微信图片_20230329110925.png**
|
||
|
||
---
|
||
|
||
**36706/微信图片_20230329110928.png**
|
||
|
||
---
|
||
|