前言
昨天的时候在公众号看到了hertzbeat监控,感觉里面监控指标与可监控的内容还挺多的,看着方便实用,于是就在Nas上部署了一个,用来监控Nas上的服务和服务器上的一些服务,结果今天早上来发现,主机CPU直奔100%,一晚上一直在告警;
排查
登陆到监控点去查看,发现是kdevtmpfsi这个进程一直占用较多,于是在网上一搜,哦吼,起初以为是病毒,但是因为我同时在Nas上也配置了告警,Nas的CPU占用也是异常的高,并且之前主机从来没有发生过这样的问题,所以就在想是不是因为昨天安装的监控的问题
进程
登陆到主机查看进程,发现这两个异常进程产生的都是docker容器里面的,并且只是kill进程一直kill不了,于是去排查docker中这个容器到底是怎么回事
容器
然后就发现,原来hertzbeat安装监控的时候直接启动了一个容器,并且实用了ubuntu的镜像,然后CPU直接100%,内存也是异常的高
并且在hertzbeat中停止监控以后,这些容器还不会停止仍然在运行,并且占用CPU占用一直高,这里看到都已经88%了。
处理
找到原因以后,那就是这个监控已经不能在用了,网上也没有找到相关的资料信息怎么去处理,只能先不用了
1、首先停掉hertzbeat中的监控
2、停掉运行的容器,删除容器
3、删除对应的ubuntu镜像
4、删除hertzbeat中配置的监控
CPU和内存的使用率立马就降下去了,也没有再起来了
结语
不用了,已老实
评论区