Linux内存子系统基础及常用调优参数

野性酷女 2022-08-09 16:40 308阅读 0赞

内存调优涉及大量计算机操作系统原理知识，包括存储器管理中内存分配策略，基于分页/分段存储管理方式，请求分页/分段存储管理方式，页面置换算法，系统调用，中断机制，进程切换等，本文整合梳理了网络资料及书本知识，对上述问题进行简单介绍  
**程序的局部性原理**  
指程序在执行时呈现出局部性规律，即在一段时间内，整个程序的执行仅限于程序中的某一部分。相应地，执行所访问的存储空间也局限于某个内存区域。局部性原理又表现为：时间局部性和空间局部性。时间局部性是指被执行过的某条指令在不久以后可能会被再次执行；被访问的某些数据在不久以后可能再次被访问（通常在循环中）。空间局部性是指程序在一段时间内访问的地址，可能集中在一定的范围之内，例如程序的顺序执行。根据程序执行的局部性原理，将主存中一些经常访问的信息放在高速缓存中，减少访问主存的次数，可大幅度提高程序执行的速度。

**系统调用**  
通常在OS的核心都设置了一组用于实现各种系统功能的子程序（过程），这些程序和过程是OS本身程序模块的一部分，为了保护OS程序不被用户程序破坏，一般都不允许用户程序访问OS的程序和数据，因此内核提供一系列具备预定功能的多内核函数，通过一组称为系统调用（system call)的接口呈现给用户。系统调用把应用程序的请求传给内核，调用相应的的内核函数完成所需的处理，将处理结果返回给应用程序。  
![这里写图片描述][20151101182618703]  
**处理机状态**  
系统上通常运行着两类程序：系统程序和应用程序，为了保证系统程序不被应用程序破坏，为此OS需要两种CPU状态：用户态（目态）与系统态（管态或和心态）。OS在系统态运行，应用程序只能在用户态运行，在实际运行过程中，处理机会在两个状态间切换，相应的CPU的指令集分为特权指令和非特权指令。特权指令是内核态运行时的指令，例如启动I/O、设置系统时间、允许或禁止中断、清主存、修改存储器、管理寄存器、执行停机、状态转换指令等；特权指令只能由操作系统使用，应用程序不能使用。非特权呢指令是在用户态运行的指令。X86支持4个处理器特权级别，称为特权环，不同级别能够允许的指令集不同。如下图所示，从R0到R3，特权级别由高到低，R0相当于内核态，R3相当于用户态；R1运行一些设备驱动程序和I/O处理的历程，R2运行一些受保护的共享代码，比如语言编译环境。目前大多数基于X86处理器的操作系统只使用了R0和R3两个特权级别。  
![这里写图片描述][20151101182700371]  
**多级存储体系**  
理想情况下存储器应当具备速度快，容量大，价格低的特性，但是这三个条件在目前的技术条件下会有矛盾，于是现代计算机系统中通常采用多级存储器结构。存储层次至少应具有3级：最高层为CPU寄存器，中间为主存，底层为辅存。根据具体功能可细分为寄存器，高速缓存，主存储器，磁盘缓存，固定磁盘，可移动存储介质等。进程对辅存的访问需要通过I/O设备，这一过程涉及到中断，设备驱动以及物理设备的运行，所需耗费的时间远高于对寄存器和主存储器的访问，一般至少相差3个数量级。  
![这里写图片描述][20151101182718497]  
**Dynamic Random Access Memory**  
DRAM是个人计算机内存的主要组件，属于挥发性内存，靠MOS电路中的栅极电容来记忆信息，由于电容上的电荷会泄漏，需要定时给与补充，因此只有在通电时才能记录和使用，断电后存于其中的数据就会丢失；但集成度高、功耗低， 从而成本也低，适于作大容量存储器，内存通常采用动态RAM。

**Static Random Access Memory**  
SRAM靠双稳态触发器来记忆信息，不需要刷新电路即可保存其内部存储的数据，集成度较低，价格较高，且不易做成大容量，但速度快，通常集成到CPU内成为高速缓存。

**主存储器**  
简称内存或主存，用于保存进程运行时的程序和数据，也称可执行存储器，CPU的控制部件只能从主存储器中取得指令和数据，将它们装入到寄存器中，或者将它们从寄存器存入到主存储器。CPU不能与硬盘直接打交道，数据只有被载入到内存中才可以被CPU调用，内存的运行也决定了计算机的稳定运行，而其性能的好坏直接影响着整个操作系统。 由于主存储器的访问速度远低于CPU执行指令的速度，为了缓和这一矛盾，在计算机中引入了寄存器和高速缓存。

**寄存器**  
它是CPU内的组成部分，访问速度最快，完全能与CPU协调工作，但价格十分昂贵，因此容量不肯能做得很大，寄存器的长度一般以字（word）为单位。  
![这里写图片描述][20151101182811450]  
**高速缓存**  
它位于CPU与内存之间，是一个读写速度比内存更快的存储器。其容量远大于寄存器，而比内存约小两到三个数量级左右，从几十KB到几MB，访问速度快于主存储器。由于高速缓存的速度越高价格越贵，所以一般计算机系统设置多级高速缓存。通常进程的程序和数据存放在内存中，每当使用时被临时复制到一个速度较快的高速缓存中，当CPU读取数据时，首先在高速缓存中寻找，如果找到（命中）就直接取出使用，如果未能找到（未命中），再从主内存中进行读取。  
![这里写图片描述][20151101182831569]  
一级缓存一般分为一级数据缓存（Data Cache）和一级指令缓存（Instruction Cache），不同CPU的L1高速缓存各不相同。L1高速缓存对CPU的性能影响较大，其容量越大,CPU的性能也就越高。

二级缓存主要用于存放电脑运行时操作系统的指令、程序数据和地址指针等。从理论上讲，在一颗拥有二级缓存的CPU中，读取一级缓存的命中率为80%，剩下的20%从二级缓存中读取，而读取二级缓存的命中率也在80%左右。

三级缓存是为读取二级缓存后未命中的数据设计的—种缓存，在拥有三级缓存的CPU中，只有约5%的数据需要从内存中调用，这进一步提高了CPU的效率。具有较大L3缓存的处理器提供更有效的文件系统缓存行为及较短消息和处理器队列长度。

**磁盘缓存**  
它本身并不是一种实际存在的存储介质，而是依托于固定的磁盘，提供对主存储器存储空间的扩充，即利用主存中的存储空间，将频繁使用的数据暂存下来，以减少访问磁盘的次数，从这个角度看，主存也可以理解为辅存的高速缓存。

**Swapping**  
指把内存中暂时不能运行的进程或暂时不用的程序和数据调出到外存上，以便腾出足够的内存空间，在把具备运行条件的进程或者进程需要的程序和数据调入内存，以提高内存利用率。

**虚拟存储器**  
指的是具有请求调入功能和置换功能，能从逻辑上对内存容量加以扩充的一种存储器系统。基于程序的局部性原理，应用程序在运行前没有必要全部装入内存，仅需将那些当前要运行的少数页面或段先装入内存便可运行，其余部分暂留在磁盘上。如果程序运行所要访问的页/段尚未调入内存（缺页/段），应用程序利用OS所提供的请求调页/段功能，将它们调入内存，以使进程能继续执行；如果此时内存已满，无法在装入新的页/段，还需要根据一定的置换算法，将内存中暂时不用的页/段调至磁盘上，腾出足够的空间将要访问的页/段调入内存，使进程进程继续执行。比如想要在一个内存只有4MB的机器运行一个16MB的程序，OS通过选择，可以决定各个时刻将哪4M的内容保留在内存中，并在需要时在内存和磁盘间交换程序片段，这样就可以使得一个较大的应用程序能在较小的内存空间运行，也可在内存中同时装入更多的进程使它们并非执行。从用户角度看，系统的内存容量将比实际内存容量大的多，因此称之为虚拟存储器。目前虚拟存储器的实现方法有请求分页系统和请求分段系统，这两种方法都建立在离散分配的存储管理方式上。

**I/O端口&DMA**  
在操作系统开机的时候，每一个I/O设备都会像CPU申请一些列的随机端口（I/O端口），以便于CPU与I/O设备进行读写交互的过程。在IBM PC体系结构中，I/O地址空间一共提供了65,536个8位的I/O端口。在执行读写操作时，CPU使用地址总线选择所请求的I/O端口，使用数据总线在CPU寄存器和端口之间传送数据。现代的硬件设备更倾向于映射I/O端口到物理地址空间，这样处理器和I/O设备之间的通信就可以直接使用对内存进行操作的汇编语言指令（如mov、and、or等），同时与DMA结合起来使用，以释放CPU。

DMA（Directional Memory Access）是指一种高速的数据传输操作，在DMA控制器的控制下具有独立于CPU的后台批量数据传输能力，能够满足实时图像处理中高速数据传输要求。CPU除了在数据传输开始和结束时做一些处理外，在数据传输过程中CPU可以进行其他的工作。这样在大部分时间里，CPU和输入输出都处于并行操作，因此使整个计算机系统的效率大大提高。

**中断控制器**  
CPU外围有一种设备，这个设备叫做可编程中断控制器。每一个硬件设备为了给CPU通信，在刚开机的时候，在BIOS实现检测的时候，这个设备就要到可编程中断控制器上去注册一个所谓的中断号。那么这个号码就归这个硬件使用了。当前主机上可能有多个硬件，每一个硬件都有自己的号码，CPU在收到中断号以后，就能够通过中断相量表查找到那个硬件设备进行中断。并且就由对应的IO端口过来处理了。

**内存域**  
程序能够运行的地址范围大小由CPU的位数决定，这个地址范围称为虚拟地址空间，该空间中的某一个地址称之为虚拟地址。CPU是32位还是64位主要是依据CPU的字组大小（每次能够处理的数据量）而来。例如32位CPU可以支持的地址范围是0~0xFFFFFFFF (2^32=4G)，而64位CPU可以支持的地址范围为0~0xFFFFFFFFFFFFFFFF (2^32个4G)。

一般而言在32位系统中，较低地址空间的1GB(虚地址0xC0000000到0xFFFFFFFF)供内核使用，称为内核空间。而较高地址空间的3GB(虚地址0x00000000到0xBFFFFFFF)供各个进程使用，称为用户空间；因为每个进程可以通过系统调用进入内核，因此，内核空间由系统内的所有进程共享；从单个进程的角度来看，每个进程都可以拥有4GB的虚拟地址空间(也叫做虚拟内存)。再深入内核空间看，其低地址位置有16MB给DMA(ZONE\_DMA)，从16M到896M才是内核可以直接访问的地址空间(ZONE\_NORMAL)，从896M到1G这段空间是预留的物理地址空间(Reserved)。内核不能直接访问用户空间，要想访问必须把其中的一段内容映射到Reserved来，在Reserved中保存即将要访问那段内存的地址编码，内核才能去访问，所以在32位系统上内核不能直接访问大于1G的内存地址。

在Linux64位系统中，低地址空间的1G内存都给了DMA，这个时候DMA的寻址能力就大大加强了；1G以上的地址空间给划分了ZONE\_NORMAL，这段空间都可以被内核直接访问。所以在64位上，内核可以直接访问大于1G的内存地址，不再需要额外的步骤，效率和性能上也大大增加。  
![这里写图片描述][20151101183144502]  
在现在的PC架构上，AMD，INTEL都支持PEA（物理地址扩展）。所谓PAE指的是在32位系统的地址总线上，又扩展了4位，使得32位系统上的地址空间可以达到64G。在32为系统上，不管物理内存有多大，单个进程所使用的空间是无法扩展的。因为在32位的系统上，线性地址空间只有4个G，而单个进程能够识别的访问也只有3个G。

linux的虚拟内存子系统包含了以下几个功能模块：

*  Slab Allocator
 *  zoned buddy allocator
 *  MMU
 *  kswapd
 *  bdflush

buddy system是工作在MMU之上的，而slab allocator又是工作在buddy system之上的。  
![这里写图片描述][20151101183227611]  
**MMU(Memory Management Unit)**

*  物理地址（Physical Address）：指的是CPU外部地址总线上寻址物理内存的地址信号，是地址变换的最终结果。
 *  虚拟地址（Virtual Address）：也称为逻辑地址，由段选择符和段内偏移地址两个部分组成。
 *  线性地址（Linear Address）：是VA到PA变换的中间层。程序代码会产生LA（段中的偏移地址），加上相应段的基地址就生成了一个线性地址。如果启用了分页机制，那么线性地址可以再经变换以产生一个PA。若没有启用分页机制，那么线性地址直接就是PA。

![这里写图片描述][20151102141910002]  
内存管理单元是CPU中用来管理虚拟存储器、物理存储器的控制线路的组件，同时也负责将虚拟地址映射为物理地址，以及提供硬件机制的内存访问授权。ARM出品的CPU，MMU作为一个协处理器存在。ARM MMU提供的分页机制有1K/4K/64K 3种模式；INTEL出品的80386CPU或者更新的CPU中都集成有MMU，X86 MMU提供的寻址模式有4K/2M/4M的page模式（根据不同的CPU，提供不同的能力）。

**TLB**  
为了提高地址变换速度，可在地址变换机构中增设一个具有并行查询能力的特殊告诉缓存存储器，又称为联想寄存器（Associative Memory）或块表，在IBM系统中取名为（Translation Look-aside Buffer）用来存放 当前访问的那些页表项。这里关键的一点是：如果操作系统更改了页表内容，它必须相应的刷新TLB以使CPU不误用过时的表项。

**Buddy Allocator**  
伙伴系统是一种适合于二进制计算机使用的动态存储分配方式，其规定无论是已分配分区还是空闲分区，其大小均为2^k，k为整数，1<=K<=n。假设系统可用的空间容量为2^n，最初始整个2^n空间都是可用的，由于运行过程中不断划分，可能会形成若干不连续的空闲分区，将这些空闲分区根据大小进行分类，对于每一类具有相同大小的空闲分区，单独设立一个空闲分区双向链表，即保持每个大小为2^k(0<= k <= n) 的空闲分区链表。当要分配存储空间时，首先计算i值，根据i值在对应大小为2^i的空闲分区链表中查找，如果找到即分配，找不到则将其向上扩在2^（i+1）链表中查找，把一个空闲分区分成两个相等的部分，这两个大小相等的分区就称为伙伴，其中一个用于分配，另一个加入2^i的空闲分区链表，此过程可循环向上扩展，直到最终出现一个大小正好为2^i的分区。当内存释放进行回收时，如果它的伙伴也是空闲的，可能也会进行多次递归合并成更大的分区，直到无法再合并为止。伙伴算法的每次调用都会“弄脏”硬件高速缓存，因此，这就增加了对内存的平均访问次数。  
![这里写图片描述][20151102213211413]  
**Slab Allocator**  
Linux slab 分配器组织结构的最高层是 cache\_chain，是一个 slab缓存的链接列表。cache\_chain 的每个元素都是一个 kmem\_cache 结构的引用（称为一个 cache）。它定义了一个要管理的给定大小的对象池。因为缓冲区的组织和管理与硬件高速缓存的命中率密切相关，Slab分配模式把对象分组放进缓冲区（指的是内存中的一片区域），把这片区域划分为多个块，每块就是一个Slab，每个Slab由一个或多个页面组成，每个Slab中存放的就是对象。这些对象是从特定缓存中进行分配和释放的基本元素。这些对象或已被分配，或空闲。一般而言，对象分两种，一种是大对象，一种是小对象。所谓小对象，是指小于512字节的对象。例如，一个inode结构大约占300多个字节，因此，一个页面中可以容纳8个以上的inode结构，inode结构就为小对象。  
![这里写图片描述][20151101183443408]  
每个缓存都包含了一个slabs列表，这是一段连续的内存块（通常都是页面）。存在3种slab：

*  slabs\_full 所有对象被分配的slab
 *  slabs\_partial 部分对象呗分配的slab
 *  slabs\_empty 没有对象被分配的slab

![这里写图片描述][20151101183524808]  
由于对象是从slab中进行分配和释放的，因此单个slab可以在slab列表之间进行移动。例如，当一个slab中的所有对象都被使用完时，就从 slabs\_partial 列表中移动到 slabs\_full 列表中。当一个 slab 完全被分配并且有对象被释放后，就从slabs\_full列表中移动到 slabs\_partial 列表中。当所有对象都被释放之后，就从 slabs\_partial 列表移动到 slabs\_empty 列表中。slabs\_empty列表中的slab是进行回收(reaping)  
的主要备选对象。正是通过此过程，slab 所使用的内存被返回给操作系统供其他用户使用。注意 slab 是 slab 分配器进行操作的最小分配单位，因此如果需要对slab进行扩展，这也就是所扩展的最小值。

**脏页的概念**  
因为硬盘的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事先放到内存中，以提高读写速度，这就叫高速缓存，linux是以页作为高速缓存的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的数据和磁盘中的数据是一致的。

**bdflush**  
用来启动核心守护进程将内存中的dirty缓存写到磁盘上。真正清洁工作是一个核心程序完成的， bdflush会派生出一个新的进程调用这个永远不会返回的核心程序。bdflush实际上也会派生出第二个类似于传统更新程序的守护进程，除非那些缓存在变化了一个位前，否则不会被考虑用来进行写操作。当缓存的dirty位被置位时，时钟开始计时。当经过一定的时间间隔后，缓存将会被写回到磁盘上。对于数据缓存和位元数据缓存（比如目录，位图，间接区块等等）来说，时间间隔是不同的。当你在运行bdflush时使用了一些命令行参数的时候，当前一些配置会显示在屏幕上。数据缓存刷新间隔的默认值是30秒，位元数据是5秒。

**kswapd**  
从原理上说，kswapd是一个页面交换守护进程，它有自己的进程控制块task\_struct结构。与其它进程一样受内核的调度。而正因为内核将它按进程来调度，就可以让它在系统相对空闲的时候来运行。不过，与普通进程相比，kswapd有其特殊性。首先，它没有自己独立的地址空间，所以在近代操作系统理论中把它称为“线程”以与进程相区别。那么，kswapd的地址空间是什么？实际上，内核空间就是它的地址空间。在这一点上，它与中断服务例程相似。其次，它的代码是静态地链接在内核中的，因此，可以直接调用内核中的各种子程序和函数。

**内存使用策略**

*  降低微型内存对象的系统开销

与传统的内存管理模式相比， slab缓存分配器提供了很多优点。首先，内核通常依赖于对小对象的分配，它们会在系统生命周期内进行无数次分配。slab 缓存分配器通过对类似大小的对象进行缓存而提供这种功能，从而避免了常见的碎片问题。slab 分配器还支持通用对象的初始化，从而避免了为同一目而对一个对象重复进行初始化。最后，slab 分配器还可以支持硬件缓存对齐和着色，这允许不同缓存中的对象占用相同的缓存行，从而提高缓存的利用率并获得更好的性能。

*  缩减慢速子系统的服务时间

使用buffer cache缓存文件元数据（metadata）以及写操作；  
使用page cache缓存DISK IO（文件内容）；  
使用shm完成进程间通信；  
使用buffer cache、arp cache和connetion tracking提升网络IO性能；  
![这里写图片描述][20151102201245750]  
该参数定义最小内存空闲空间（保留不分配出去），以便某些进程随时使用。在磁盘太慢或者CPU性能比较差的情况下可将该参数的值调小

**与物理内存过量使用有关的调优参数：**  
![这里写图片描述][20151102142633317]  
swappiness=\{0..100\}：使用交换分区的倾向性，系统默认为 60  
overcommit\_memory可用参数有3个，规定是否能够过量使用内存：

*  0：默认设置，内核执行启发式的过量使用处理
 *  1：内核执行总是过量使用处理，使用这个值会增大内存超载的可能性
 *  2：设置内存使用量等于swap的大小+RAM\*overcommit\_ratio的值。如果希望减小内存的过度使用，这个值是最安全的

overcommit\_ratio: 将overcommit\_memory指定为2时候，定义可以超出物理内存的百分比，默认为50 。假如设定swap为2G，内存为8G，overcommit\_memory=2，  
overcommit\_ratio=50，那么可以使用的物理内存为2G+8G\*50%=6G 。在很多场景下不建议使用swap，上述的例子中设定的参数告诉内核可以使用6G的内存空间，但实际的物理空间有8G，这样内存使用一旦超出6G，系统可能开始使用swap，甚至产生oom，不利于性能提升，一般来说swap设为RAM的50%就可以保证RAM是可以全部使用的  
可通过以下两个方法充分使用物理内存

*  swap跟RAM一样大；swappiness=0;
 *  overcommit\_memory=2, overcommit\_ratio=100：swappiness=0;

**内存耗尽时候的相关调优参数**  
当Linux内存耗尽的时候，它会杀死那些占用内存最多的进程，以下三种情况会杀死进程：

*  在ZONE\_NORMAL中没有可用的page页
 *  所有的进程都是活动进程，这个时候想交换出去都没有空闲的进程
 *  有其它新进程启动，申请内存空间的时候，要找一个空闲内存给做映射，但是这个时候找不到了

一旦内存耗尽的时候，操作系统就会启用oom-kill机制。 如果想禁止oom-kill功能的使用可以使用设置panic\_on\_oom=1即可。  
![这里写图片描述][20151102203345800]  
在/proc/PID/目录下的oom\_score文件就是用来指定oom的坏蛋评分指数。 如果要手动启用oom-kill机制的话，只需要执行以下命令即可，它会自动杀掉我们指定的坏蛋指数评分最高的那个进程

echo f> /proc/sysrq-trigger

可以通过下命令来调整一个进程的坏蛋评分指数。最终的评分指数就是2^n。假如我们的一个进程的oom\_adj的值是5，那么它的坏蛋评分指数就是2的5次方。

echo n > /proc/PID/oom_adj

实时显示内核缓存信息  
![这里写图片描述][20151102203921815]  
dentry：目录项，通过每一个目录可找到的文件路径映射关系  
![这里写图片描述][20151102204447500]  
tunables < limit > < batchcount > < sharedfactor >  
![这里写图片描述][20151102204840260]  
tunables 为可调参数  
limit：CPU可缓存的最大对象个数  
batchcount：一次最多能传送到CPU中的全局缓存对象个数  
sharedfactor：在SMP架构中各CPU间可共享的slab cache个数  
调大slab cache可以提高CPU访问内存小对象时的性能

echo  "cache_name limit batchcount shared"> /proc/slabinfo

**调整网络I/O的ARP缓存**  
![这里写图片描述][20151102210915809]  
默认最大缓存条目的软限制为512个，硬限制为1024个，默认缓存时间为5分钟，过期后由Garbage collection移除。如果ARP缓存不够用会导致解析结果频繁被刷新，因此当处于一个非常大的物理网络中的时候主机，即同一个网段中主机数量非常多则可能需要调大ARP缓存。  
显示缓存条目  
![这里写图片描述][20151102212541005]

ip neighbor flush dev ethX  ##Flush cache

**Adjust where the gc will leave arp table alone**  
net.ipv4.neigh.default.gc\_thresh1  
default 128  
**Soft upper limit**  
net.ipv4.neigh.default.gc\_thresh2  
defalut 512  
Becomes hard limit after 5 seconds  
**Hard upper limit**  
net.ipv4.neigh.default.gc\_thresh3  
**Garbage collection frequency in seconds**  
net.ipv4.neigh.default.gc\_interval  
**Tuning page cache**  
View page cache allocation in /proc/meminfo  
**Tune length/size of memory**  
vm.lowmem\_reserve\_ratio  
vm.vfs\_cache\_pressure

*  0：不回收dentries和inodes;
 *  1-99: 倾向于不回收；
 *  100: 倾向性与page cache和swap cache相同；
 *  100+：倾向于回收；

**Tune arrival/completion rate**  
vm.page-cluster：一次清到swap上的页面数量，作为幂指数的值，默认为3，意味着可转移2^3=8个页面到swap；在系统需要大量使用交换分区（例如虚拟化场景中在一个物理机上运行多个虚拟机，多个虚拟机的使用内存很肯能会超出物理内存）时可以适当调大该值，不要超过4  
![这里写图片描述][20151102215641770]  
vm.zone\_reclaim\_mode  
**与通信相关的调优参数**  
常见同一个主机中进程间通信的方式：

*  通过消息message
 *  通过signal信号量进行通信
 *  通过共享内存进行通信

跨主机常见的通信方式是rpc

**shm：以共享内存方式实现进程通信的可调优参数**  
shmmni ：系统级别，所允许使用的共享内存段上限  
**Specifies the maximum number of shared memory segments system-wide, default = 4096**  
shmall：系统级别，以字节为单位规定一次在该系统中能够为共享内存分配使用的最大页面数；  
**Specifies the total amount of shared memory, in pages, that can be used at one time on the system, default = 2097152 This should be at least kernel.shmmax/PAGE\_SIZE**  
shmmax ：单个共享内存段的上限；  
**Specifies the maximum size of a shared memory segment that can be created**

**messages：以消息的方式实现进程通信的可调优参数**  
msgmnb：单个消息队列的长度上限，单位为字节；  
**Specifies the maximum number of bytes in a single message queue, default = 16384**  
msgmni：系统级别，消息队列识别符的个数上限；  
**Specifies the maximum number of message queue identifiers, default = 16**  
msgmax ：单个消息大小的上限，这个值一定不能超过该队列的大小(msgmnb)，单位为字节；  
**Specifies the maximum size of a message that can be passed between processes This memory cannot be swapped, default = 8192**

**与容量相关的文件系统可调优参数：**  
file-max：列出内核分配的文件句柄的最大值  
**Tune length/size of memory**  
dirty\_background\_ratio：定义全局范围内脏页占物理内存的百分比达到多少时启动清洗进程；默认为10  
**Percentage (of total memory) of number of dirty pages at which pdflush starts writing**  
dirty\_ratio ：定义某一个进程中脏页占据物理内存的百分比到多少时启动清洗进程pdflush；默认为20  
**Percentage (of total memory) of number of dirty pages at which a process itself starts writing out dirty data**  
Tune wait time  
dirty\_expire\_centisecs：pdflush 周期性启动清洗操作的时间间隔；默认值为3000，每隔30秒起来开始刷新脏页  
**Interval between pdflush wakeups in 100ths of a second; set to zero to disable writeback**  
Tune observation period (between pdflush wakeups)  
dirty\_writeback\_centisecs ：定义脏页在内存中存储多久后变为过期并启动清洗进程；默认值为500，一个脏页的存在时间达到了5秒，就开始刷新脏  
**Defines when data is old enough, in 100ths of a second, to be eligible for writeout bye pdflush**

**swap相关优化策略**  
在应用服务器上，swap可以设置为RAM\*0.5，当然这个是理论值  
如果不的不使用交换内存，应该把交换内存放到最靠外的磁道分区上，因为最外边的磁盘的访问速度最快。所以如果有多块硬盘，可以把每块硬盘的最外层的磁道拿一小部分出来作为交换分区。交换分区可以定义优先级，因此把这些硬盘的交换内存的优先级设置为一样，可以实现负载均衡的效果。定义交换分区优先级的方法：

vim /etc/fstab
    /dev/sda1 swap swap pri=5 0 0 
    /dev/sdb1 swap swap pri=5 0 0 
    /dev/sdc1 swap swap pri=5 0 0 
    /dev/sdd1 swap swap pri=5 0 0

**清理脏页与缓冲区**  
Sync command  
fsync system call  
Alt-SysRq-S magic system request

echo s > /proc/sysrq-trigger

Reclaim clean pages

echo 3 > /proc/sys/vm/drop_caches

*  to free pagecache
 *  to free dentries and inodes
 *  to free pagecache, dentries and inodes

Eliminate bad data from cache  
Reduce memory before laptop hibernate  
Benchmark subsystem

**linux内存常用的观察指标命令：**  
strace：追踪命令产生的系统调用

*  strace COMMAND：查看命令的syscall
 *  strace -p PID：查看已经启动进程的syscall  
    \-c：只输出其概括信息；  
    \-o FILE：将追踪结果保存至文件中，以供后续分析使用；

![这里写图片描述][20151102143416593]  
Memory activity  
sar -r \[interval\] \[count\]  
![这里写图片描述][20151102221614439]  
Rate of change in memory  
sar -R \[interval\] \[count\]  
![这里写图片描述][20151102221253443]

*  frmpg/s：每秒释放或者分配的内存页，如果为正数，则为释放的内存页；如果为负数，则为分配的内存页
 *  bufpg/s：每秒buffer中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页
 *  campg/s：每秒cache中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页

Swap activity  
ALL IO  
sar -B \[interval\] \[count\]  
![这里写图片描述][20151102221739550]

*  pgpgin/s:每秒从磁盘写入到内核的块数量
 *  pgpgout/s:每秒从内核写入到磁盘的块数量
 *  fault/s:每秒钟出现的缺页异常的个数
 *  majflt/s:每秒钟出现的大页异常的个数
 *  pgfree/s:每秒回收回来的页面个数

主要参考文档：  
[http://www.ibm.com/developerworks/cn/linux/l-linux-slab-allocator/][http_www.ibm.com_developerworks_cn_linux_l-linux-slab-allocator]  
[http://oss.org.cn/kernel-book/ch06/6.3.3.htm][http_oss.org.cn_kernel-book_ch06_6.3.3.htm]  
[http://oss.org.cn/kernel-book/ch06/6.6.2.htm][http_oss.org.cn_kernel-book_ch06_6.6.2.htm]  
[http://wiki.dzsc.com/info/6624.html][http_wiki.dzsc.com_info_6624.html]  
[http://www.cnblogs.com/daoluanxiaozi/archive/2012/03/12/2392281.html][http_www.cnblogs.com_daoluanxiaozi_archive_2012_03_12_2392281.html]  
[http://os.51cto.com/art/201309/411937.htm][http_os.51cto.com_art_201309_411937.htm]  
[http://www.2cto.com/os/201407/315641.html][http_www.2cto.com_os_201407_315641.html]  
[http://blog.chinaunix.net/uid-11278770-id-148460.html][http_blog.chinaunix.net_uid-11278770-id-148460.html]  
[http://blog.csdn.net/duqi\_2009/article/details/15811693][http_blog.csdn.net_duqi_2009_article_details_15811693]  
[http://blog.chinaunix.net/uid-28236237-id-3513958.html][http_blog.chinaunix.net_uid-28236237-id-3513958.html]

[20151101182618703]: /images/20220731/b2033aeb6c8041f2af9b53192784c3c3.png
[20151101182700371]: /images/20220731/8c6f01e3fa3a47548481dbee53dcfe3d.png
[20151101182718497]: /images/20220731/0cd305e1e3e3469d9bad398790c8bbd2.png
[20151101182811450]: /images/20220731/25dce72635474a869dc1fbb7406b60e3.png
[20151101182831569]: /images/20220731/634cdde44007478882e17701ae2709ea.png
[20151101183144502]: /images/20220731/2415530d600d4f279e63f3c96142b0dd.png
[20151101183227611]: /images/20220731/49b29ff162c24b949868ce9198aa97b8.png
[20151102141910002]: /images/20220731/be6252780add42039cb347d9c4f599f9.png
[20151102213211413]: /images/20220731/51fdfd133d8342368839579fe2c80bf7.png
[20151101183443408]: /images/20220731/46705bca87b84563bd1596fdf09b025c.png
[20151101183524808]: /images/20220731/8ed1a21364d0430eae6913bb64ac45c1.png
[20151102201245750]: /images/20220731/7af845d259b74cc9bcaa4853bdf584b4.png
[20151102142633317]: /images/20220731/4864d4fc2a4b470ea1767d8d82d45f33.png
[20151102203345800]: /images/20220731/8aa75acc81e74ab9894643f8fd693610.png
[20151102203921815]: /images/20220731/f568ab50299d4eb883fbfad144166686.png
[20151102204447500]: /images/20220731/456e8fb15ac34f2991f3524771bfb7f0.png
[20151102204840260]: /images/20220731/6a7450e5d9e24242a2f3abcdcee845dc.png
[20151102210915809]: /images/20220731/0873943e4f7947fdbd1337c3e08fbcde.png
[20151102212541005]: /images/20220731/0d560251e185455fad78f9e858999542.png
[20151102215641770]: /images/20220731/b97f2188663a4e70831f2beb9cd67281.png
[20151102143416593]: /images/20220731/c942bbf65b3f48b795cb325c1f7aaf13.png
[20151102221614439]: /images/20220731/78c8de6436934db9b2c271ba248dd2be.png
[20151102221253443]: /images/20220731/73424a129f9e4b36a0e4dd44fab18bf1.png
[20151102221739550]: /images/20220731/9ec0973a72534ce4bfa00710aeba12c5.png
[http_www.ibm.com_developerworks_cn_linux_l-linux-slab-allocator]: http://www.ibm.com/developerworks/cn/linux/l-linux-slab-allocator/
[http_oss.org.cn_kernel-book_ch06_6.3.3.htm]: http://oss.org.cn/kernel-book/ch06/6.3.3.htm
[http_oss.org.cn_kernel-book_ch06_6.6.2.htm]: http://oss.org.cn/kernel-book/ch06/6.6.2.htm
[http_wiki.dzsc.com_info_6624.html]: http://wiki.dzsc.com/info/6624.html
[http_www.cnblogs.com_daoluanxiaozi_archive_2012_03_12_2392281.html]: http://www.cnblogs.com/daoluanxiaozi/archive/2012/03/12/2392281.html
[http_os.51cto.com_art_201309_411937.htm]: http://os.51cto.com/art/201309/411937.htm
[http_www.2cto.com_os_201407_315641.html]: http://www.2cto.com/os/201407/315641.html
[http_blog.chinaunix.net_uid-11278770-id-148460.html]: http://blog.chinaunix.net/uid-11278770-id-148460.html
[http_blog.csdn.net_duqi_2009_article_details_15811693]: http://blog.csdn.net/duqi_2009/article/details/15811693
[http_blog.chinaunix.net_uid-28236237-id-3513958.html]: http://blog.chinaunix.net/uid-28236237-id-3513958.html