日志存错地方差点搞崩平台?别急,这样排查处理 - xin

日志存错地方差点搞崩平台?别急,这样排查处理

  in   EasyCVR with  0  comment

前几天有用户反馈,说突然收到一条告警短信:EasyCVR视频融合平台的磁盘使用率飙到 100% 了。这可不是小问题 —— 磁盘一满,平台运行容易卡壳,严重的话还可能丢数据、断服务,得赶紧处理。

顺着日志找根源

技术同事翻了平台运行日志,很快理出了头绪:原来是下级国标平台发了太多摄像头告警消息,一条接一条没停过。这些消息传到上级平台后,系统得一条条处理,过程中生成了一大堆 raw 格式的日志文件。

偏偏这些日志默认存在系统盘里,而系统盘空间本来就不算大。日志越积越多,慢慢就把磁盘撑满了,告警自然就触发了。

回头复盘时发现,其实是俩小细节没做好:

1、日志存错了地方

默认存在系统盘这个设置,其实有点 “挤”—— 系统盘本身要装运行程序,空间余量有限,碰上这种批量日志文件,很容易就满了。

2、日志没设 “过期日”

老日志堆着不清理,新日志还在不断来,相当于磁盘空间只进不出,时间一长肯定扛不住。

两招搞定,磁盘立马 “松口气”

找到症结就好办了,给大家支两个调整方向:

① 给日志换个 “仓库”

把日志文件夹从系统盘挪到挂载盘。挂载盘空间通常更大,专门用来存日志正合适,系统盘压力小了很多,运行也稳当。

② 给日志设个 “保质期”

比如设定只存 3 天,超过时间自动清掉。这样新日志有地方放,老日志不占地方,磁盘空间能一直保持合理余量。

其实运维里不少小问题,都是这类细节没捋顺导致的。你们平时管理平台时,碰到过磁盘满了的情况吗?有啥处理小技巧,评论区分享下~

Responses