服务器负载过高问题分析

╰半夏微凉° 2022-06-13 00:13 264阅读 0赞

线上服务器存在问题学习。

问题现象：

1，top命令查询服务器负载达到2.0-5之间，tomcat的cpu使用率达到104%

![Center][]

问题分析过程：

1），磁盘使用率未超出正常范围

![Center 1][]

2），内存使用率未超出正常范围还有空闲

![Center 2][]

3），服务器流量未现明显峰值

![Center 3][]

4），jvm内存状态未现异常非GC原因

![Center 4][]

综合初步预估是tomcat有线程一直在运行占用cpu资源

**问题引出：如何确定tomcat的100%的cpu使用率到底问题在哪？**

** **

**问题定位方案：**

使用java提供的是jstack线程分析命令对进程里面的线程状态进行分析，先导出线程快照再分析具体是那个线程及对应的类

执行步骤：

**第一步：**ps -ef|grep tomcat 查询出java/tomcat进程PID（eg:8209）

**第二步：**ps -aux 查询出该进程是哪个用户启动的（即使ROOT用户可能也导出线程快照失败）

![Center 5][]

**第三步：**su  tomcat 切换到进程启动用户

**第四步：**jstack -l 8209 > /usr/local/work/tomcat/8209.stack 导出PID对应的线程信息到文件

**第五步：**对导出的线程文件下载本地做分析（可以文本打开）

**第六步：**top -H -p 8209 命令查看对应进程是哪个线程占用CPU过高(eg:8308)

![Center 6][]

**第七步：**printf "%x\\n" 8308 转换十进制为十六进制 此处为：2074

**第八步：**在导出的堆栈文件中搜索线程ID等于nid=0x2074的线程，此处即列出了该线程对应的类

![Center 7][]

**第九步：**根据线程信息找到对应的类定位问题成功，找到原因：日志队列线程一直处于RUNNABLE状态，一直在while循环判定队列是否为空

![Center 8][]

[Center]: /images/20220613/b0549b01b98348dabbd9d7b842579db7.png
[Center 1]: /images/20220613/0627407c34104741948e22f0d2fe699e.png
[Center 2]: /images/20220613/ace5abfd351242779a431d5203b37973.png
[Center 3]: /images/20220613/20bc537f740f400889f77f0604181eaf.png
[Center 4]: /images/20220613/fbad7ce2f7cf4990875222f589dec4b3.png
[Center 5]: /images/20220613/f08f9f9ccb7a4aa7a7e75b66838168aa.png
[Center 6]: /images/20220613/45df5e1003be4f788115599f98237d15.png
[Center 7]: /images/20220613/1301ed510487409f971b8b8b98dc2863.png
[Center 8]: /images/20220613/8fbc763a3643414882bf63123858d837.png

发表评论取消回复

表情：

评论列表（有 0 条评论，264人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL服务器负载过高：问题分析及优化措施

当MySQL服务器负载过高时，这通常意味着数据库承受了超出其正常处理能力的查询请求。这种情况可能导致响应时间延长、数据一致性受影响甚至系统崩溃。以下是针对这个问题的分析和优化措

太过爱你忘了你带给我的痛/ 2024年12月21日 20:48/ 0 赞/ 3 阅读

相关服务器负载过高，MySQL成为焦点：问题与解决方案

当服务器负载过高，尤其是其中的数据库服务，如MySQL，可能会出现问题。以下是一些常见的问题以及相应的解决方案： 1. **查询缓慢或响应延迟**： - 增加硬件资源（

末蓝、/ 2024年12月16日 08:15/ 0 赞/ 5 阅读

相关服务器磁盘占用过高分析

使用命令 du -sh查看出占用较大的目录，如下： <table style="width:500px;"> <thead> <tr> <th>目录</th

淡淡的烟草味﹌/ 2023年10月14日 11:01/ 0 赞/ 25 阅读

相关记一次服务器负载过高问题

早上刚到接到前方同事电话，说线上有台服务访问延迟很高，他排查了下发现内存还很充足，cpu使用率也不是很高，单就是负载出奇的高，等我到后开始一系列的排查 1. 查看服务器资源

今天药忘吃喽~/ 2023年01月23日 13:50/ 0 赞/ 214 阅读

相关服务器CPU占用率过高问题分析

在开发过程中，碰到了Java进程占用cpu过高的现象，本篇来介绍一下排查思路。 1. 查看占用CPU过高Java进程使用 `top -p <pid>` 命令（为Jav

╰半夏微凉°/ 2022年12月27日 01:53/ 0 赞/ 221 阅读

相关服务器负载过高问题分析

线上服务器存在问题学习。问题现象： 1，top命令查询服务器负载达到2.0-5之间，tomcat的cpu使用率达到104% ![Center][

╰半夏微凉°/ 2022年06月13日 00:13/ 0 赞/ 265 阅读

相关服务器cpu负载过高问题排查

第一步：执行top命令，查出当前机器线程情况 top - 09:14:36 up 146 days, 20:24, 1 user, load average:

小灰灰/ 2022年06月09日 06:42/ 0 赞/ 290 阅读

相关磁盘IO负载过高

针对系统中磁盘IO负载过高的指导性操作主要命令：echo deadline > /sys/block/sda/queue/scheduler 注：以下的内容仅是提供参

男娘i/ 2022年05月30日 08:47/ 0 赞/ 316 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问 -------------------- 周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NG

水深无声/ 2022年04月27日 22:34/ 0 赞/ 267 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NGINX切流，不接受HTTP请求，服务器...

系统管理员/ 2021年04月06日 13:26/ 0 赞/ 606 阅读