阿里云服务器CPU跑满或抛高及带宽跑满怎样排查分析原因？（图文教程）

矫情吗；* 2022-05-12 12:58 179阅读 0赞

[https://www.wanweiwang.cn/FAQ/view/884.html][https_www.wanweiwang.cn_FAQ_view_884.html]

如果您使用阿里云云服务器 ECS 时，若出现服务的速度变慢，或 ECS 实例突然断开，可以考虑服务器带宽和 CPU 是否有跑满或跑高的问题。Linux 系统下，您可以按如下步骤进行排查：

1.  定位问题。找到影响带宽和 CPU 跑满或跑高的具体进程。
2.  分析处理。排查影响带宽和 CPU 跑满或跑高的进程是否正常，并分类进行处理。
    
     *  对于 正常进程：您需要对程序进行优化或者升级服务器配置。
     *  对于 异常进程：您可以手动对进程进行查杀，也可以使用第三方安全工具去查杀。

当然，若您预先创建报警任务，当带宽和 CPU 跑满或跑高时，系统将自动进行报警提醒。如果云服务器 ECS Linux 系统的 CPU 持续跑高，则会对系统稳定性和业务运行造成影响。本文相关配置及说明已在 CentOS 6.5 64 位操作系统中进行过测试。其它类型及版本操作系统配置可能有所差异。

**CPU 跑满或跑高的问题定位**

若云服务器 ECS 的 CPU 持续跑高，会对系统的稳定性和业务运行造成影响。Linux 系统下，查看进程的常用命令如下:

*  ps -aux
 *  ps -ef
 *  top

Linux 系统中，通常使用 top 命令来查看系统的负载问题，并定位耗用较多 CPU 资源的进程。

### 操作步骤 ###

1.  通过控制台管理终端连接到 ECS 实例，参见使用远程连接功能连接 ECS 实例。
    
    说明：资源负载异常时，通常无法通过 SSH 进行远程连接，建议您通过控制台管理终端进行连接。
2.  通过 top 命令查看系统当前的运行情况。
    
         
    
    针对负载问题，您只需关注回显的第一行和第三行信息，详细说明如下。
    
     *  top 命令的第一行显示的内容 `17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05`依次为 系统当前时间 、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载，这与直接执行 uptime 命令查询结果一致。
     *  top 命令的第三行会显示当前 CPU 资源的总体使用情况，下方会显示各个进程的资源占用情况。
    
    1.  `top - 17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05`
    2.  `Tasks: 94 total, 1 running, 93 sleeping, 0 stopped, 0 zombie`
    3.  `%Cpu(s): 0.3 us, 0.1 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.1 st`
    4.  `KiB Mem: 1016656 total, 946628 used, 70028 free, 169536 buffers`
    5.  `KiB Swap: 0 total, 0 used, 0 free. 448644 cached Mem`
    6.  `PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND`
    7.  `1 root 20 0 41412 3824 2308 S 0.0 0.4 0:19.01 systemd`
    8.  `2 root 20 0 0 0 0 S 0.0 0.0 0:00.04 kthreadd`
3.  通过字母键 P，可以对 CPU 使用率进行倒序排列，进而定位系统中占用 CPU 较高的进程。
    
    说明：通过字母键 M， 您可以对系统内存使用情况进行排序。如果有多核 CPU，数字键 1 可以显示每核 CPU 的负载状况。
4.  通过 ll /proc/PID/exe 可以查看每个进程 ID 对应的程序文件。

## CPU 跑满或跑高的分析处理 ##

CPU 的跑满或跑高，在确认具体的进程结果后，针对异常的进程，您需要通过 top 命令将其终止；而对于 kswapd0 进程导致的内存不足等问题，您需要对系统进行规格的升级或程序的优化。

### 使用 top 直接终止 CPU 消耗较大的进程 ###

您可以直接在 top 运行界面快速终止相应的异常进程。操作步骤如下：

1.  若您想要终止某个进程，只需按下小写的 k 键。
2.  输入想要终止的进程 PID （top 输出结果的第一列）。例如，若您想要终止 PID 为 86 的进程，输入 86 后按回车即可。
3.  操作成功后，界面会出现类似 Send pid 86 signal \[15/sigterm\] 的提示信息。按回车确认即可。

### kswapd0 进程占用导致 CPU 较高 ###

操作系统都用分页机制来管理物理内存，系统会把一部分硬盘空间虚拟成内存使用。由于内存的速度要比磁盘快得多，所以系统要按照某种换页机制将不需要的页面换到磁盘中，将需要的页面调到内存中。

kswapd0 是虚拟内存管理中负责换页的进程，当服务器内存不足的时候 kswapd0 会执行换页操作，这个换页操作是十分消耗主机 CPU 资源的。操作步骤如下：

1.  通过 top 命令查看 kswapd0 进程。
2.  检查该进程是否持续处于非睡眠状态，且运行时间较长。若是，可以初步判定系统在持续地进行换页操作，kswapd0 进程占用了系统大量 CPU 资源。
    
    ![1][]
3.  您可以通过 free 、ps 等指令进一步查询系统及系统内进程的内存占用情况，做进一步排查分析。
4.  针对系统当前内存不足的问题，您可以重启 Apache，释放内存。
    
    说明：从长远的角度来看，您需要对内存进行升级。

## 带宽跑满或跑高的分析处理 ##

对于正常进程导致的带宽跑满或跑高的问题，需要对服务器的带宽进行升级。对于异常进程，有可能是由于恶意程序问题，或者是部分 IP 恶意访问导致，也可能是服务遭到了 CC 攻击。

通常情况下，您可以使用 iftop 工具或 nethogs 查看流量的占用情况，进而定位到具体的进程。

### 使用 iftop 工具排查 ###

1.  在服务器内部安装 iftop 流量监控工具。
    
         
    
    ![2][]
    
    1.  `yum install iftop -y`
2.  服务器外网带宽被占满时，如果通过远程无法登陆，可通过阿里云终端管理进入到服务器内部，运行下面命令查看流量占用情况：
    
         
    
    注意：-P 参数将会显示请求端口。执行 iftop -i eth0 -P 命令，可以查看通过服务器哪个端口建立的连接，以及内网流量。举例如下：
    
    ![3][]
    
    在上图中，您可以查看到流量高耗的是服务器上 53139 端口和 115.205.150.235 地址建立的连接。
    
    1.  `iftop -i eth1 -P`
3.  执行 netstat 命令反查 53139 端口对应的进程。
    
         
    
    ![4][]
    
    1.  `netstat -tunlp |grep 53139`
4.  经反查，服务器上 vsftpd 服务产生大量流量，您可以通过停止服务或使用 iptables 服务来对指定地址进行处理，如屏蔽 IP 地址或限速，以保证服务器带宽能够正常使用。

### 使用 nethogs 进行排查 ###

1.  在服务器内部安装 nethogs 流量监控工具。
    
         
    
    1.  `yum install nethogs -y`
2.  通过 nethogs 工具来查看网卡上进程级的流量信息，若未安装可以通过 yum、apt-get 等方式安装。举例如下：
    
    1.  若 eth1 网卡跑满，执行命令 `nethogs eth1`。
    2.  查看每个进程的网络带宽情况以及进程对应的 PID。
    3.  确定导致带宽跑满或跑高的具体进程。
        
        ![5][]
3.  若进程确定是恶意程序，可以通过执行 `kill -TERM <PID>` 来终止程序。
    
    说明： 如果是 Web 服务程序，您可以使用 iftop 等工具来查询具体 IP 来源，然后分析 Web 访问日志是否为正常流量。日志分析可以使用 logwatch 或 awstats 等工具进行。

### 使用 Web 应用防火墙防御 CC 攻击 ###

若您的服务遭受了 CC 攻击，请在 Web 应用防火墙控制台尽快开启 CC 安全防护。

1.  登录 Web应用防火墙 控制台。
2.  在 CC 安全防护中，启动状态按钮，并在模式中选择 正常。
    
    ![6][]

[https_www.wanweiwang.cn_FAQ_view_884.html]: https://www.wanweiwang.cn/FAQ/view/884.html
[1]: /images/20220512/cefb624dfa324d03b4c5f270cc1b1327.png
[2]: /images/20220512/cf6196790bef4029a3a472c4d0ea9677.png
[3]: /images/20220512/85afa1e5708948ba9dbfa08443a52d64.png
[4]: /images/20220512/48fc1726036c4426808dfecf8dc8a55d.png
[5]: /images/20220512/54ef7890c6c845c08d8f8d7131e74ff6.png
[6]: /images/20220512/32b7e1ef2c164cdab6ae259a2027af9a.png