Linux操作系统学习笔记（二十六）内存性能优化

Bertha 。 2022-12-27 04:43 184阅读 0赞

## 一. 前言 ##

本文将分析内存的性能指标、测试方法、压测工具以及内存常见问题的优化套路。

## 二. Buffer和Cache ##

通过`free`或者`top`命令我们可以发现其将内存分为了buffer和cache等部分。Buffer 和 Cache 的设计目的，是为了提升系统的 I/O 性能。它们利用内存，充当起慢速磁盘与快速 CPU 之间的桥梁，可以加速 I/O 的访问速度。通过`man free`可以查阅到下面的说明

buffers    Memory used by kernel buffers (Buffers in /proc/meminfo)
    cache      Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo)

*  Buffers 是**内核缓冲区用到的内存**，对应的是 `/proc/meminfo` 中的 `Buffers` 值。
 *  Cache 是**内核页缓存和 Slab 用到的内存**，对应的是 `/proc/meminfo` 中的 `Cached` 与 `SReclaimable` 之和。

进一步通过`man proc`，可以看到具体说明

Buffers %lu
        Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so). Cached %lu In-memory cache for files read from the disk (the page cache). Doesn't include SwapCached.
    SReclaimable %lu (since Linux 2.6.19)
        Part of Slab, that might be reclaimed, such as caches.   
    SUnreclaim %lu (since Linux 2.6.19)
        Part of Slab, that cannot be reclaimed on memory pressure.

*  `Buffers` 是对原始磁盘块的临时存储，也就是用来缓存磁盘的数据，通常不会特别大（20MB 左右）。这样，内核就可以把分散的写集中起来，统一优化磁盘的写入，比如可以把多次小的写合并成单次大的写等等。
 *  `Cached` 是从磁盘读取文件的页缓存，也就是用来缓存从文件读取的数据。这样，下次访问这些文件数据时，就可以直接从内存中快速获取，而不需要再次访问缓慢的磁盘。
 *  `SReclaimable` 是 `Slab` 的一部分。`Slab` 包括两部分，其中的可回收部分，用 `SReclaimable` 记录；而不可回收部分，用 `SUnreclaim` 记录。

最终总结：**Buffer 是对磁盘数据的缓存，而 Cache 是文件数据的缓存，它们既会用在读请求中，也会用在写请求中。**

*  从写的角度来说，不仅可以优化磁盘和文件的写入，对应用程序也有好处，应用程序可以在数据真正落盘前，就返回去做其他工作。
 *  从读的角度来说，不仅可以提高那些频繁访问数据的读取速度，也降低了频繁 I/O 对磁盘的压力。

## 三. 内存性能参数 ##

### 3.1 缓存命中率 ###

缓存命中率，是指直接通过缓存获取数据的请求次数，占所有数据请求次数的百分比。命中率越高，表示使用缓存带来的收益越高，应用程序的性能也就越好。实际上，缓存是现在所有高并发系统必需的核心模块，主要作用就是把经常访问的数据（也就是热点数据），提前读入到内存中。这样，下次访问时就可以直接从内存读取数据，而不需要经过硬盘，从而加快应用程序的响应速度。

我们可以通过`cachestat`和`cachetop`命令进行查看。

$ cachestat 1 3
       TOTAL   MISSES     HITS  DIRTIES   BUFFERS_MB  CACHED_MB
           2        0        2        1           17        279
           2        0        2        1           17        279
           2        0        2        1           17        279

这些指标从左到右依次表示：

*  TOTAL ，表示总的 I/O 次数；
 *  MISSES ，表示缓存未命中的次数；
 *  HITS ，表示缓存命中的次数；
 *  DIRTIES， 表示新增到缓存中的脏页数；
 *  BUFFERS\_MB 表示 Buffers 的大小，以 MB 为单位；
 *  CACHED\_MB 表示 Cache 的大小，以 MB 为单位。

$ cachetop
    11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
    PID      UID      CMD       HITS     MISSES   DIRTIES  READ_HIT%  WRITE_HIT%
    13029    root     python    1        0        0        100.0%     0.0%

READ\_HIT 和 WRITE\_HIT ，分别表示读和写的缓存命中率。

除此之外，还可以使用`pcstat`来查看文件的缓存情况，如查看`/bin/ls`

$ pcstat /bin/ls
    +---------+----------------+------------+-----------+---------+
    | Name    | Size (bytes)   | Pages      | Cached    | Percent |
    |---------+----------------+------------+-----------+---------|
    | /bin/ls | 133792         | 33         | 0         | 000.000 |
    +---------+----------------+------------+-----------+---------+

### 3.2 内存泄漏 ###

内存泄漏是程序的常见事故。首先我们需要明确哪些地方可能会出现内存泄漏。

*  栈内存由系统自动分配和管理。一旦程序运行超出了这个局部变量的作用域，栈内存就会被系统自动回收，所以不会产生内存泄漏的问题。
 *  堆内存由应用程序自己来分配和管理。除非程序退出，这些堆内存并不会被系统自动释放，而是需要应用程序明确调用库函数 free() 来释放它们。如果应用程序**没有正确释放堆内存，就会造成内存泄漏**。
 *  只读段，包括程序的代码和常量，由于是只读的，不会再去分配新的内存，所以也不会产生内存泄漏。
 *  数据段，包括全局变量和静态变量，这些变量在定义时就已经确定了大小，所以也不会产生内存泄漏。
 *  内存映射段，包括动态链接库和共享内存，其中共享内存由程序动态分配和管理。所以，如果程序在分配后忘了回收，就**会导致跟堆内存类似的泄漏问题**。

所以常见的内存泄漏会出现在堆和内存映射段。检测内存泄漏可以先通过`vmstat`的`free`字段初步判断，用 `top` 或 `ps` 来观察进程的内存使用情况，然后找出内存使用一直增长的进程，然后使用`memleak`工具进行具体分析。

root@ubuntu:/home/ty# /usr/share/bcc/tools/memleak -a -p $(pidof app)
    Attaching to pid 5977, Ctrl+C to quit.
    cannot attach uprobe, Device or resource busy
    [09:08:38] Top 10 stacks with outstanding allocations:
    	addr = 7f4ab00f56d0 size = 8192
    	addr = 7f4ab00f36c0 size = 8192
    	addr = 7f4ab00f76e0 size = 8192
    	addr = 7f4ab00f16b0 size = 8192
    	32768 bytes in 4 allocations from stack
    		fibonacci+0x1f [app]
    		child+0x4f [app]
    		start_thread+0xdb [libpthread-2.27.so]

### 3.3 Swap和NUMA ###

当物理内存页不足的时候，`kswapd0`会触发页面交换，但是在一些时候我们会发现Swap在剩余内存很多的情况下也异常升高，这就是和NUMA有关系了。`numactl`命令可以查看处理器在Node的分布情况。

$ numactl --hardware
    available: 1 nodes (0)
    node 0 cpus: 0 1
    node 0 size: 7977 MB
    node 0 free: 4416 MB
    ...

内存阈值（页最小阈值、页低阈值和页高阈值）可以通过内存域在 proc 文件系统中的接口 `/proc/zoneinfo` 来查看

$ cat /proc/zoneinfo
    ...
    Node 0, zone   Normal
     pages free     227894
           min      14896
           low      18620
           high     22344
    ...
         nr_free_pages 227894
         nr_zone_inactive_anon 11082
         nr_zone_active_anon 14024
         nr_zone_inactive_file 539024
         nr_zone_active_file 923986
    ...

使用`free`命令可以查看当前Swap的使用情况

$ free
                 total        used        free      shared  buff/cache   available
    Mem:        8169348      331668     6715972         696     1121708     7522896
    Swap:             0           0           0

Linux 本身支持两种类型的 Swap，即 Swap 分区和 Swap 文件。以 Swap 文件为例，开启方式如下

# 创建Swap文件
    $ fallocate -l 8G /mnt/swapfile
    # 修改权限只有根用户可以访问
    $ chmod 600 /mnt/swapfile
    # 配置Swap文件
    $ mkswap /mnt/swapfile
    # 开启Swap
    $ swapon /mnt/swapfile

## 四. 测试工具 ##

### 4.1 `dd` ###

`dd`命令可以用于生成临时文件以及测试读取速度

# 生成一个512MB的临时文件
    $ dd if=/dev/sda1 of=file bs=1M count=512
    # 清理缓存
    $ echo 3 > /proc/sys/vm/drop_caches
    
    #测试读取
    $ dd if=file of=/dev/null bs=1M
    512+0 records in
    512+0 records out
    536870912 bytes (537 MB, 512 MiB) copied, 16.0509 s, 33.4 MB/s

## 五. 性能工具总结 ##

具体的分析思路主要有这几步。

*  先用 free 和 top，查看系统整体的内存使用情况。
 *  再用 vmstat 和 pidstat，查看一段时间的趋势，从而判断出内存问题的类型。
 *  最后进行详细分析，比如内存分配分析、缓存 / 缓冲区分析、具体进程的内存使用分析等。

![img][]

![img][img 1]

## 总结 ##

本文主要介绍了内存优化的思路和常见工具及使用方式，以备后续使用。

## 参考文献 ##

1\] Linux-insides

\[2\] 深入理解Linux内核

\[3\] Linux内核设计的艺术

\[4\] 深入理解计算机系统