Linux问题分析与性能优化

缺乏、安全感 2022-09-09 04:40 204阅读 0赞

*   *  排查顺序
     *  方法论
     *  性能分析工具
     *  CPU分析思路
     *  内存分析思路
     *  IO分析思路
     *  网络分析思路
     *  基准测试工具
     *  参考

## 排查顺序 ##

整体情况：

1.  `top/htop/atop`命令查看进程/线程、CPU、内存使用情况，CPU使用情况；
2.  `dstat 2`查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态;
3.  `vmstat 2`查看内存使用情况，内存状态；
4.  `iostat -d -x 2`查看所有磁盘的IO情况，系统I/O状态；
5.  `iotop`查看IO靠前的进程，系统的I/O状态；
6.  `perf top`查看占用CPU最多的函数，CPU使用情况；
7.  `perf record -ag -- sleep 15;perf report`查看CPU事件占比，调用栈，CPU使用情况；
8.  `sar -n DEV 2`查看网卡的吞吐，网卡状态；
9.  `/usr/share/bcc/tools/filetop -C`查看每个文件的读写情况，系统的I/O状态；
10. `/usr/share/bcc/tools/opensnoop`显示正在被打开的文件，系统的I/O状态；
11. `mpstat -P ALL 1`单核CPU是否被打爆；
12. `ps aux --sort=-%cpu`按CPU使用率排序，找出CPU消耗最多进程；
13. `ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20`统计前20内存占用`；`
14. `awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20` 统计内核前20slab的占用；

进程分析，进程占用的资源：

1.  `pidstat 2 -p 进程号`查看可疑进程CPU使用率变化情况；
2.  `pidstat -w -p 进程号 2`查看可疑进程的上下文切换情况；
3.  `pidstat -d -p 进程号 2`查看可疑进程的IO情况；
4.  `lsof -p 进程号`查看进程打开的文件；
5.  `strace -f -T -tt -p 进程号`显示进程发起的系统调用；

协议栈分析，连接/协议栈状态：

1.  `ethtool -S`查看网卡硬件情况；
2.  `cat /proc/net/softnet_stat/ifconfig eth1`查看网卡驱动情况；
3.  `netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看连接状态分布；`
4.  `ss -ntp`或者`netstat -ntp`查看连接队列；
5.  `netstat -s`查看协议栈情况；

## 方法论 ##

RED方法：监控服务的请求数（Rate）、错误数（Errors）、响应时间（Duration）。Weave Cloud在监控微服务性能时提出的思路。

USE方法：监控系统资源的使用率（Utilization）、饱和度（Saturation）、错误数（Errors）。

![b2de1952ae5665109db5f7093fcc16cf.png][]

## 性能分析工具 ##

![544fd49cb83f45f5d91139f5ab8de809.png][]

Linux 内核的各个子系统出发，汇总了对各个子系统进行性能分析时，你可以选择的工具。不过，虽然这个图是性能分析最好的参考资料之一，它其实还不够具体。比如，当你需要查看某个性能指标时，这张图里对应的子系统部分，可能有多个性能工具可供选择。但实际上，并非所有这些工具都适用，具体要用哪个，还需要你去查找每个工具的手册，对比分析做出选择。

## CPU分析思路 ##

首先，从 CPU 的角度来说，主要的性能指标就是 CPU 的使用率、上下文切换以及 CPU Cache 的命中率等。下面这张图就列出了常见的 CPU 性能指标。

![b6a58d6d019700de272e2ce6a858aad3.png][]

![2356d378308c419ae9e647174ab6404d.png][]

![e3de05d128bd96a935e060a3ed1c8911.png][]

## 内存分析思路 ##

接着我们来看内存方面。从内存的角度来说，主要的性能指标，就是系统内存的分配和使用、进程内存的分配和使用以及 SWAP 的用量。下面这张图列出了常见的内存性能指标。

![53608193fa3ee1284656abdec781d523.png][]

![bbd1f254225f33148a37419fe09f8e79.png][]

## IO分析思路 ##

从文件系统和磁盘 I/O 的角度来说，主要性能指标，就是文件系统的使用、缓存和缓冲区的使用，以及磁盘 I/O 的使用率、吞吐量和延迟等。下面这张图列出了常见的 I/O 性能指标。

![9dc83f09fa1e1c3817406096957f2815.png][]

![a53487b825d511baf1d8167d15d8d3d1.png][]

![a35cbc3ad4df4bb351fcff8065946e0a.png][]

## 网络分析思路 ##

从网络的角度来说，主要性能指标就是吞吐量、响应时间、连接数、丢包数等。根据 TCP/IP 网络协议栈的原理，我们可以把这些性能指标，进一步细化为每层协议的具体指标。这里我同样用一张图，分别从链路层、网络层、传输层和应用层，列出了各层的主要指标。

![50f35af7488e8e122d6216d5a75663ea.png][]

![8bba85544acb8df11a38d0ad309609f5.png][]

![a35c129a55b072d5f3a8c0571834fa1d.png][]

## 基准测试工具 ##

除了性能分析外，很多时候，我们还需要对系统性能进行基准测试。比如，

*  在文件系统和磁盘 I/O 模块中，我们使用 fio 工具，测试了磁盘 I/O 的性能。
 *  在网络模块中，我们使用 iperf、pktgen 等，测试了网络的性能。
 *  而在很多基于 Nginx 的案例中，我们则使用 ab、wrk 等，测试 Nginx 应用的性能。

![b4283b883c5f15f127c2b4625428b173.png][]

## 参考 ##

*  相当一部分内容来自极客时间出品的倪鹏飞专栏《Linux性能优化》, 这是之前这个专栏的学习笔记。
 *  另一份资料是IBM红宝书Linux性能调优指南。
 *  此外，The Linux Documentation Project是一个非常好的资料库。
 *  将硬件中断的处理任务分配个多个CPU：SMP affinity and proper interrupt handling in Linux
 *  Hidden Costs of Memory Allocation
 *  https://www.lijiaocn.com/soft/linux/

【文章转自我的好友alex】

![虚线阴影分割线][92ad3c2da0fa623b1ac4ff77e86f8829.png]

5T技术资源大放送！包括但不限于：C/C++，Arm, Linux，Android，人工智能，单片机，树莓派，等等。在上面的【人人都是极客】公众号内回复「peter」，即可免费获取！！

![5f5bf422067d148c2da04f664c2870b2.gif][] **记得点击****分享****、****赞****和****在看****，给我充点儿电吧**

[b2de1952ae5665109db5f7093fcc16cf.png]: /images/20220829/c71233d22c0348f2a8dc2e6bb5d55adc.png
[544fd49cb83f45f5d91139f5ab8de809.png]: /images/20220829/0b91f45117fd469eaeccece11eddd61e.png
[b6a58d6d019700de272e2ce6a858aad3.png]: /images/20220829/773bd280ac4742a0bec0943fa0b7ac1f.png
[2356d378308c419ae9e647174ab6404d.png]: /images/20220829/607519e5ac764adb92ef00e260ecec73.png
[e3de05d128bd96a935e060a3ed1c8911.png]: /images/20220829/d1d3b8abc8b942b0be2b84a51e8fb6f3.png
[53608193fa3ee1284656abdec781d523.png]: /images/20220829/98876ed19d46476caca4464f6b5eedd0.png
[bbd1f254225f33148a37419fe09f8e79.png]: /images/20220829/abb0987edb174b189ce949584937defd.png
[9dc83f09fa1e1c3817406096957f2815.png]: /images/20220829/dff228307e7a4186ab69876eb4e6ae4f.png
[a53487b825d511baf1d8167d15d8d3d1.png]: /images/20220829/bcf47c5c6f554b62849ae91effa3e4df.png
[a35cbc3ad4df4bb351fcff8065946e0a.png]: /images/20220829/56ad1b7ebeb8415e8cc03034e17872fa.png
[50f35af7488e8e122d6216d5a75663ea.png]: /images/20220829/02e05ff2174442a1b411ea9123e06ea7.png
[8bba85544acb8df11a38d0ad309609f5.png]: /images/20220829/b452db11daf94a688a8e22ab013ef6df.png
[a35c129a55b072d5f3a8c0571834fa1d.png]: /images/20220829/b42be11ec5ee490c826967fd55f5027f.png
[b4283b883c5f15f127c2b4625428b173.png]: /images/20220829/f66bb5ec98d944329867697d07198cdf.png
[92ad3c2da0fa623b1ac4ff77e86f8829.png]: /images/20220829/a8a3ea5c02ab44819ef77959aab68db8.png
[5f5bf422067d148c2da04f664c2870b2.gif]: /images/20220829/d74cbb11f6274f5eb975dc7ce0fcf95c.png