服务器CPU100%或CPU增高应急处理过程总结

小鱼儿 2023-01-03 01:19 441阅读 0赞

### 服务器CPU100%或CPU增高应急处理过程总结 ###

*  一、服务器CPU增高排查处理思路
 *   *  1.1 CPU增高原因
     *   *  使用CPU最多的5个进程
     *  1.2 使用jstack分析CPU问题
 *  二、频繁gc
 *  三、上下文切换

*  [Linux下如何查看哪些进程占用的CPU内存资源最多][Linux_CPU]

# 一、服务器CPU增高排查处理思路 #

## 1.1 CPU增高原因 ##

CPU增高可能受到的原因有：业务逻辑问题(死循环)、频繁gc以及上下文切换过多，最常见的往往是业务逻辑(或者框架逻辑)导致的。

### 使用CPU最多的5个进程 ###

ps -aux | sort -k3nr | head 5

或者

top （然后按下P，注意大写）

## 1.2 使用jstack分析CPU问题 ##

1.  先用`ps`命令找到对应进程的 Pid(如果有好几个目标进程，可以先用`top`看一下哪个占用比较高)。
2.  接着用`top -H -p pid`来找到CPU使用率比较高的一些线程。

![img][]

1.  将占用最高的pid转换为16进制`printf '%x\n' pid`得到nid。

eg：`printf '%x\n 66'`

![img][img 1]

1.  在jstack中找到相应的堆栈信息`jstack pid |grep 'nid' -C5 –color`。

![img][img 2]

找到了nid为0x42的堆栈信息，接着只要仔细分析一番即可。

> 更常见的是我们对整个jstack文件进行分析，通常我们会比较关注WAITING和TIMED\_WAITING的部分。
> 
> 使用命令`cat jstack.log | grep "java.lang.Thread.State" | sort -nr | uniq -c`来对jstack的状态有一个整体的把握，如果WAITING 之类的特别多，那么多半是有问题。

![img][img 3]

# 二、频繁gc #

先确定下gc是不是太频繁，使用`jstat -gc pid 1000`命令来对gc分代变化情况进行观察，1000表示采样间隔(ms)，S0C/S1C、S0U/S1U、EC/EU、OC/OU、MC/MU分别代表两个Survivor区、Eden区、老年代、元数据区的容量和使用量。YGC/YGT、FGC/FGCT、GCT则代表YoungGc、FullGc的耗时和次数以及总耗时。

如果看到gc比较频繁，再针对gc方面做进一步分析。

![img][img 4]

# 三、上下文切换 #

针对频繁上下文问题，我们可以使用`vmstat`命令来进行查看

![img][img 5]

\*\*cs(context switch)一列则代表了上下文切换的次数。\*\*如果我们希望对特定的pid进行监控那么可以使用 `pidstat -w pid`命令，cswch和nvcswch表示自愿及非自愿切换。

![img][img 6]

[Linux_CPU]: https://www.cnblogs.com/sparkbj/p/6148817.html
[img]: /images/20221119/ce3b38b14ca040d485713105177d83d0.png
[img 1]: /images/20221119/c43e52f69a17445f80c3a03179c006c7.png
[img 2]: /images/20221119/856980dfde46456fa588dc8f5d039f10.png
[img 3]: /images/20221119/1f7c26e0252e41eb9f0ab6477e840caa.png
[img 4]: /images/20221119/2651460e938c49fc9d83dda8e548b9ff.png
[img 5]: /images/20221119/090bac5e912d457792bb32272a4f697d.png
[img 6]: /images/20221119/e191eb96492d42cd92b46ff4ee57e607.png