Docker 运行时资源限制

你的名字 2022-03-29 11:30 392阅读 0赞

github:[https://github.com/docker][https_github.com_docker]

github docker 内存设置为2倍的源代码：[https://github.com/docker/libcontainer/blob/v1.2.0/cgroups/fs/memory.go\#L39][https_github.com_docker_libcontainer_blob_v1.2.0_cgroups_fs_memory.go_L39]

原文地址：[https://blog.csdn.net/shimachao/article/details/53728507][https_blog.csdn.net_shimachao_article_details_53728507]

内存测试工具

rpm -Uvh http://pkgs.repoforge.org/stress/stress-1.0.2-1.el7.rf.x86_64.rpm
    
    使用stress进行测试
    stress --vm 1 --vm-bytes 150M --vm-hang 0

查看资源占用情况可以使用 top 或者 ctop 函数。

Docker 运行时资源限制  
Docker 基于 Linux 内核提供的 cgroups 功能，可以限制容器在运行时使用到的资源，比如内存、CPU、块 I/O、网络等。

内存限制  
概述  
Docker 提供的内存限制功能有以下几点：

容器能使用的内存和交换分区大小。  
容器的核心内存大小。  
容器虚拟内存的交换行为。  
容器内存的软性限制。  
是否杀死占用过多内存的容器。  
容器被杀死的优先级  
一般情况下，达到内存限制的容器过段时间后就会被系统杀死。

内存限制相关的参数  
执行docker run命令时能使用的和内存限制相关的所有选项如下。

选项    描述  
\-m,--memory    内存限制，格式是数字加单位，单位可以为 b,k,m,g。最小为 4M  
\--memory-swap    内存+交换分区大小总限制。格式同上。必须必-m设置的大  
\--memory-reservation    内存的软性限制。格式同上  
\--oom-kill-disable    是否阻止 OOM killer 杀死容器，默认没设置  
\--oom-score-adj    容器被 OOM killer 杀死的优先级，范围是\[-1000, 1000\]，默认为 0  
\--memory-swappiness    用于设置容器的虚拟内存控制行为。值为 0~100 之间的整数  
\--kernel-memory    核心内存限制。格式同上，最小为 4M  
用户内存限制  
用户内存限制就是对容器能使用的内存和交换分区的大小作出限制。使用时要遵循两条直观的规则：-m，--memory选项的参数最小为 4 M。--memory-swap不是交换分区，而是内存加交换分区的总大小，所以--memory-swap必须比-m,--memory大。在这两条规则下，一般有四种设置方式。

你可能在进行内存限制的实验时发现docker run命令报错：WARNING: Your kernel does not support swap limit capabilities, memory limited without swap.

这是因为宿主机内核的相关功能没有打开。按照下面的设置就行。

step 1：编辑/etc/default/grub文件，将GRUB\_CMDLINE\_LINUX一行改为GRUB\_CMDLINE\_LINUX="cgroup\_enable=memory swapaccount=1"

step 2：更新 GRUB，即执行$ sudo update-grub

step 3: 重启系统。

1. 不设置  
如果不设置-m,--memory和--memory-swap，容器默认可以用完宿舍机的所有内存和 swap 分区。不过注意，如果容器占用宿主机的所有内存和 swap 分区超过一段时间后，会被宿主机系统杀死（如果没有设置--00m-kill-disable=true的话）。

2. 设置-m,--memory，不设置--memory-swap  
给-m或--memory设置一个不小于 4M 的值，假设为 a，不设置--memory-swap，或将--memory-swap设置为 0。这种情况下，容器能使用的内存大小为 a，能使用的交换分区大小也为 a。因为 Docker 默认容器交换分区的大小和内存相同。

如果在容器中运行一个一直不停申请内存的程序，你会观察到该程序最终能占用的内存大小为 2a。

比如$ docker run -m 1G ubuntu:16.04，该容器能使用的内存大小为 1G，能使用的 swap 分区大小也为 1G。容器内的进程能申请到的总内存大小为 2G。

3. 设置-m,--memory=a，--memory-swap=b，且b > a  
给-m设置一个参数 a，给--memory-swap设置一个参数 b。a 时容器能使用的内存大小，b是容器能使用的 内存大小 + swap 分区大小。所以 b 必须大于 a。b -a 即为容器能使用的 swap 分区大小。

比如$ docker run -m 1G --memory-swap 3G ubuntu:16.04，该容器能使用的内存大小为 1G，能使用的 swap 分区大小为 2G。容器内的进程能申请到的总内存大小为 3G。

4. 设置-m,--memory=a，--memory-swap=-1  
给-m参数设置一个正常值，而给--memory-swap设置成 -1。这种情况表示限制容器能使用的内存大小为 a，而不限制容器能使用的 swap 分区大小。

这时候，容器内进程能申请到的内存大小为 a + 宿主机的 swap 大小。

Memory reservation  
这种 memory reservation 机制不知道怎么翻译比较形象。Memory reservation 是一种软性限制，用于节制容器内存使用。给--memory-reservation设置一个比-m小的值后，虽然容器最多可以使用-m使用的内存大小，但在宿主机内存资源紧张时，在系统的下次内存回收时，系统会回收容器的部分内存页，强迫容器的内存占用回到--memory-reservation设置的值大小。

没有设置时（默认情况下）--memory-reservation的值和-m的限定的值相同。将它设置为 0 会设置的比-m的参数大 等同于没有设置。

Memory reservation 是一种软性机制，它不保证任何时刻容器使用的内存不会超过--memory-reservation限定的值，它只是确保容器不会长时间占用超过--memory-reservation限制的内存大小。

例如：

$ docker run -it -m 500M --memory-reservation 200M ubuntu:16.04 /bin/bash  
1  
如果容器使用了大于 200M 但小于 500M 内存时，下次系统的内存回收会尝试将容器的内存锁紧到 200M 以下。

例如：

$ docker run -it --memory-reservation 1G ubuntu:16.04 /bin/bash  
1  
容器可以使用尽可能多的内存。--memory-reservation确保容器不会长时间占用太多内存。

OOM killer  
默认情况下，在出现 out-of-memory(OOM) 错误时，系统会杀死容器内的进程来获取更多空闲内存。这个杀死进程来节省内存的进程，我们姑且叫它 OOM killer。我们可以通过设置--oom-kill-disable选项来禁止 OOM killer 杀死容器内进程。但请确保只有在使用了-m/--memory选项时才使用--oom-kill-disable禁用 OOM killer。如果没有设置-m选项，却禁用了 OOM-killer，可能会造成出现 out-of-memory 错误时，系统通过杀死宿主机进程或获取更改内存。

下面的例子限制了容器的内存为 100M 并禁止了 OOM killer：

$ docker run -it -m 100M --oom-kill-disable ubuntu:16.04 /bin/bash  
1  
是正确的使用方法。

而下面这个容器没设置内存限制，却禁用了 OOM killer 是非常危险的：

$ docker run -it --oom-kill-disable ubuntu:16.04 /bin/bash  
1  
容器没用内存限制，可能或导致系统无内存可用，并尝试时杀死系统进程来获取更多可用内存。

一般一个容器只有一个进程，这个唯一进程被杀死，容器也就被杀死了。我们可以通过--oom-score-adj选项来设置在系统内存不够时，容器被杀死的优先级。负值更教不可能被杀死，而正值更有可能被杀死。

核心内存  
核心内存和用户内存不同的地方在于核心内存不能被交换出。不能交换出去的特性使得容器可以通过消耗太多内存来堵塞一些系统服务。核心内存包括：

stack pages（栈页面）  
slab pages  
socket memory pressure  
tcp memory pressure  
可以通过设置核心内存限制来约束这些内存。例如，每个进程都要消耗一些栈页面，通过限制核心内存，可以在核心内存使用过多时阻止新进程被创建。

核心内存和用户内存并不是独立的，必须在用户内存限制的上下文中限制核心内存。

假设用户内存的限制值为 U，核心内存的限制值为 K。有三种可能地限制核心内存的方式：

U != 0，不限制核心内存。这是默认的标准设置方式  
K < U，核心内存时用户内存的子集。这种设置在部署时，每个 cgroup 的内存总量被过度使用。过度使用核心内存限制是绝不推荐的，因为系统还是会用完不能回收的内存。在这种情况下，你可以设置 K，这样 groups 的总数就不会超过总内存了。然后，根据系统服务的质量自有地设置 U。  
K > U，因为核心内存的变化也会导致用户计数器的变化，容器核心内存和用户内存都会触发回收行为。这种配置可以让管理员以一种统一的视图看待内存。对想跟踪核心内存使用情况的用户也是有用的。  
例如：

$ docker run -it -m 500M --kernel-memory 50M ubuntu:16.04 /bin/bash  
1  
容器中的进程最多能使用 500M 内存，在这 500M 中，最多只有 50M 核心内存。

$ docker run -it --kernel-memory 50M ubuntu:16.04 /bin/bash  
1  
没用设置用户内存限制，所以容器中的进程可以使用尽可能多的内存，但是最多能使用 50M 核心内存。

Swappiness  
默认情况下，容器的内核可以交换出一定比例的匿名页。--memory-swappiness就是用来设置这个比例的。--memory-swappiness可以设置为从 0 到 100。0 表示关闭匿名页面交换。100 表示所有的匿名页都可以交换。默认情况下，如果不适用--memory-swappiness，则该值从父进程继承而来。

例如：

$ docker run -it --memory-swappiness=0 ubuntu:16.04 /bin/bash  
1  
将--memory-swappiness设置为 0 可以保持容器的工作集，避免交换代理的性能损失。

CPU 限制  
概述  
Docker 的资源限制和隔离完全基于 Linux cgroups。对 CPU 资源的限制方式也和 cgroups 相同。Docker 提供的 CPU 资源限制选项可以在多核系统上限制容器能利用哪些 vCPU。而对容器最多能使用的 CPU 时间有两种限制方式：一是有多个 CPU 密集型的容器竞争 CPU 时，设置各个容器能使用的 CPU 时间相对比例。二是以绝对的方式设置容器在每个调度周期内最多能使用的 CPU 时间。

CPU 限制相关参数  
docker run命令和 CPU 限制相关的所有选项如下：

选项    描述  
\--cpuset-cpus=""    允许使用的 CPU 集，值可以为 0-3,0,1  
\-c,--cpu-shares=0    CPU 共享权值（相对权重）  
cpu-period=0    限制 CPU CFS 的周期，范围从 100ms~1s，即\[1000, 1000000\]  
\--cpu-quota=0    限制 CPU CFS 配额，必须不小于1ms，即 >= 1000  
\--cpuset-mems=""    允许在上执行的内存节点（MEMs），只对 NUMA 系统有效  
其中--cpuset-cpus用于设置容器可以使用的 vCPU 核。-c,--cpu-shares用于设置多个容器竞争 CPU 时，各个容器相对能分配到的 CPU 时间比例。--cpu-period和--cpu-quata用于绝对设置容器能使用 CPU 时间。

\--cpuset-mems暂用不上，这里不谈。

CPU 集  
我们可以设置容器可以在哪些 CPU 核上运行。

例如：

$ docker run -it --cpuset-cpus="1,3" ubuntu:14.04 /bin/bash  
1  
表示容器中的进程可以在 cpu 1 和 cpu 3 上执行。

$ docker run -it --cpuset-cpus="0-2" ubuntu:14.04 /bin/bash  
1  
表示容器中的进程可以在 cpu 0、cpu 1 及 cpu 3 上执行。

在 NUMA 系统上，我们可以设置容器可以使用的内存节点。

例如：

$ docker run -it --cpuset-mems="1,3" ubuntu:14.04 /bin/bash  
1  
表示容器中的进程只能使用内存节点 1 和 3 上的内存。

$ docker run -it --cpuset-mems="0-2" ubuntu:14.04 /bin/bash  
1  
表示容器中的进程只能使用内存节点 0、1、2 上的内存。

CPU 资源的相对限制  
默认情况下，所有的容器得到同等比例的 CPU 周期。在有多个容器竞争 CPU 时我们可以设置每个容器能使用的 CPU 时间比例。这个比例叫作共享权值，通过-c或--cpu-shares设置。Docker 默认每个容器的权值为 1024。不设置或将其设置为 0，都将使用这个默认值。系统会根据每个容器的共享权值和所有容器共享权值和比例来给容器分配 CPU 时间。

假设有三个正在运行的容器，这三个容器中的任务都是 CPU 密集型的。第一个容器的 cpu 共享权值是 1024，其它两个容器的 cpu 共享权值是 512。第一个容器将得到 50% 的 CPU 时间，而其它两个容器就只能各得到 25% 的 CPU 时间了。如果再添加第四个 cpu 共享值为 1024 的容器，每个容器得到的 CPU 时间将重新计算。第一个容器的CPU 时间变为 33%，其它容器分得的 CPU 时间分别为 16.5%、16.5%、33%。

必须注意的是，这个比例只有在 CPU 密集型的任务执行时才有用。在四核的系统上，假设有四个单进程的容器，它们都能各自使用一个核的 100% CPU 时间，不管它们的 cpu 共享权值是多少。

在多核系统上，CPU 时间权值是在所有 CPU 核上计算的。即使某个容器的 CPU 时间限制少于 100%，它也能使用各个 CPU 核的 100% 时间。

例如，假设有一个不止三核的系统。用-c=512的选项启动容器\{C0\}，并且该容器只有一个进程，用-c=1024的启动选项为启动容器C2，并且该容器有两个进程。CPU 权值的分布可能是这样的：

PID    container    CPU CPU share  
100    \{C0\}     0   100% of CPU0  
101    \{C1\}     1   100% of CPU1  
102    \{C1\}     2   100% of CPU2  
1  
2  
3  
4  
CPU 资源的绝对限制  
Linux 通过 CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对 CPU 的使用。CFS 默认的调度周期是 100ms。

关于 CFS 的更多信息，参考CFS documentation on bandwidth limiting。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。使用--cpu-period即可设置调度周期，使用--cpu-quota即可设置在每个周期内容器能使用的 CPU 时间。两者一般配合使用。

例如：

$ docker run -it --cpu-period=50000 --cpu-quota=25000 ubuntu:16.04 /bin/bash  
1  
将 CFS 调度的周期设为 50000，将容器在每个周期内的 CPU 配额设置为 25000，表示该容器每 50ms 可以得到 50% 的 CPU 运行时间。

$ docker run -it --cpu-period=10000 --cpu-quota=20000 ubuntu:16.04 /bin/bash  
1  
将容器的 CPU 配额设置为 CFS 周期的两倍，CPU 使用时间怎么会比周期大呢？其实很好解释，给容器分配两个 vCPU 就可以了。该配置表示容器可以在每个周期内使用两个 vCPU 的 100% 时间。

CFS 周期的有效范围是 1ms~1s，对应的--cpu-period的数值范围是 1000~1000000。而容器的 CPU 配额必须不小于 1ms，即--cpu-quota的值必须 >= 1000。可以看出这两个选项的单位都是 us。

正确的理解“绝对”  
注意前面我们用--cpu-quota设置容器在一个调度周期内能使用的 CPU 时间时实际上设置的是一个上限。并不是说容器一定会使用这么长的 CPU 时间。比如，我们先启动一个容器，将其绑定到 cpu 1 上执行。给其--cpu-quota和--cpu-period都设置为 50000。

$ docker run --rm --name test01 --cpu-cpus 1 --cpu-quota=50000 --cpu-period=50000 deadloop:busybox-1.25.1-glibc  
1  
调度周期为 50000，容器在每个周期内最多能使用 50000 cpu 时间。

再用docker stats test01可以观察到该容器对 CPU 的使用率在100%左右。然后，我们再以同样的参数启动另一个容器。

$ docker run --rm --name test02 --cpu-cpus 1 --cpu-quota=50000 --cpu-period=50000 deadloop:busybox-1.25.1-glibc  
1  
再用docker stats test01 test02可以观察到这两个容器，每个容器对 cpu 的使用率在 50% 左右。说明容器并没有在每个周期内使用 50000 的 cpu 时间。

使用docker stop test02命令结束第二个容器，再加一个参数-c 2048启动它：

$ docker run --rm --name test02 --cpu-cpus 1 --cpu-quota=50000 --cpu-period=50000 -c 2048 deadloop:busybox-1.25.1-glibc  
1  
再用docker stats test01命令可以观察到第一个容器的 CPU 使用率在 33% 左右，第二个容器的 CPU 使用率在 66% 左右。因为第二个容器的共享值是 2048，第一个容器的默认共享值是 1024，所以第二个容器在每个周期内能使用的 CPU 时间是第一个容器的两倍。

\------------------------------------------------------------------------------------------------------------

原文地址：[https://blog.csdn.net/horsefoot/article/details/51731543][https_blog.csdn.net_horsefoot_article_details_51731543]

docker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

### **cgroup简介** ###

cgroup是Control Groups的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 cpu、memory、磁盘IO等等) 的机制，被LXC、docker等很多项目用于实现进程资源控制。cgroup将任意进程进行分组化管理的 Linux 内核功能。cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的。这些具体的资源管理功能称为cgroup子系统，有以下几大子系统实现：

1.  blkio：设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
2.  cpu：使用调度程序为cgroup任务提供cpu的访问。
3.  cpuacct：产生cgroup任务的cpu资源报告。
4.  cpuset：如果是多核心的cpu，这个子系统会为cgroup任务分配单独的cpu和内存。
5.  devices：允许或拒绝cgroup任务对设备的访问。
6.  freezer：暂停和恢复cgroup任务。
7.  memory：设置每个cgroup的内存限制以及产生内存资源报告。
8.  net\_cls：标记每个网络包以供cgroup方便使用。
9.  ns：命名空间子系统。
10. perf\_event：增加了对每group的监测跟踪的能力，即可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。

目前docker只是用了其中一部分子系统，实现对资源配额和使用的控制。

可以使用stress工具来测试CPU和内存。使用下面的Dockerfile来创建一个基于Ubuntu的stress工具镜像。

FROM ubuntu:14.04  
RUN apt-get update &&apt-get install stress

### **CPU资源配额控制** ###

**CPU份额控制**

docker提供了–cpu-shares参数，在创建容器时指定容器所使用的CPU份额值。使用示例：

使用命令docker run -tid –cpu-shares 100 ubuntu:stress，创建容器，则最终生成的cgroup的cpu份额配置可以下面的文件中找到：

root@ubuntu:~\# cat /sys/fs/cgroup/cpu/docker/<容器的完整长ID>/cpu.shares  
100

cpu-shares的值不能保证可以获得1个vcpu或者多少GHz的CPU资源，仅仅只是一个弹性的加权值。

默认情况下，每个docker容器的cpu份额都是1024。单独一个容器的份额是没有意义的，只有在同时运行多个容器时，容器的cpu加权的效果才能体现出来。例如，两个容器A、B的cpu份额分别为1000和500，在cpu进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片，但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，比如说主机上只运行了一个容器，即使它的cpu份额只有50，它也可以独占整个主机的cpu资源。

cgroups只在容器分配的资源紧缺时，也就是说在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的cpu份额来确定有多少cpu资源分配给它，资源分配结果取决于同时运行的其他容器的cpu分配和容器中进程运行情况。

**CPU周期控制**

docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。–cpu-period是用来指定容器对CPU的使用要在多长时间内做一次重新分配，而–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。跟–cpu-shares不同的是这种配置是指定一个绝对值，而且没有弹性在里面，容器对CPU资源的使用绝对不会超过配置的值。

cpu-period和cpu-quota的单位为微秒（μs）。cpu-period的最小值为1000微秒，最大值为1秒（10^6 μs），默认值为0.1秒（100000 μs）。cpu-quota的值默认为-1，表示不做控制。

举个例子，如果容器进程需要每1秒使用单个CPU的0.2秒时间，可以将cpu-period设置为1000000（即1秒），cpu-quota设置为200000（0.2秒）。当然，在多核情况下，如果允许容器进程需要完全占用两个CPU，则可以将cpu-period设置为100000（即0.1秒），cpu-quota设置为200000（0.2秒）。

使用示例：

使用命令docker run -tid –cpu-period 100000 –cpu-quota 200000 ubuntu，创建容器，则最终生成的cgroup的cpu周期配置可以下面的文件中找到：

root@ubuntu:~\# cat /sys/fs/cgroup/cpu/docker/<容器的完整长ID>/cpu.cfs\_period\_us  
100000  
root@ubuntu:~\# cat /sys/fs/cgroup/cpu/docker/<容器的完整长ID>/cpu.cfs\_quota\_us  
200000

关于cpu-shares、cpu-period、cpu-quota这些配置的详细介绍，大家可以深入阅读RedHat文档中[关于CPU的这一章][CPU]。

**CPU core控制**

对多核CPU的服务器，docker还可以控制容器运行限定使用哪些cpu内核和内存节点，即使用–cpuset-cpus和–cpuset-mems参数。对具有NUMA拓扑（具有多CPU、多内存节点）的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。如果服务器只有一个内存节点，则–cpuset-mems的配置基本上不会有明显效果。

使用示例：

命令docker run -tid –name cpu1 –cpuset-cpus 0-2 ubuntu，表示创建的容器只能用0、1、2这三个内核。最终生成的cgroup的cpu内核配置如下：

root@ubuntu:~\# cat /sys/fs/cgroup/cpuset/docker/<容器的完整长ID>/cpuset.cpus  
0-2

通过docker exec <容器ID> taskset -c -p 1(容器内部第一个进程编号一般为1)，可以看到容器中进程与CPU内核的绑定关系，可以认为达到了绑定CPU内核的目的。

![quota01][]

**CPU配额控制参数的混合使用**

当上面这些参数中时，cpu-shares控制只发生在容器竞争同一个内核的时间片时，如果通过cpuset-cpus指定容器A使用内核0，容器B只是用内核1，在主机上只有这两个容器使用对应内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。

cpu-period、cpu-quota这两个参数一般联合使用，在单核情况或者通过cpuset-cpus强制容器使用一个cpu内核的情况下，即使cpu-quota超过cpu-period，也不会使容器使用更多的CPU资源。

cpuset-cpus、cpuset-mems只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。

在系统具有多个CPU内核的情况下，需要通过cpuset-cpus为容器CPU内核才能比较方便地进行测试。

试用下列命令创建测试用的容器：

docker run -tid –name cpu2 –cpuset-cpus 3 –cpu-shares 512 ubuntu:stress stress -c 10  
docker run -tid –name cpu3 –cpuset-cpus 3 –cpu-shares 1024 ubuntu:stress stress -c 10

上面的ubuntu:stress镜像安装了stress工具来测试CPU和内存的负载。两个容器的命令stress -c 10&，这个命令将会给系统一个随机负载，产生10个进程，每个进程都反复不停的计算由rand（）产生随机数的平方根，直到资源耗尽。

观察到宿主机上的CPU试用率如下图所示，第三个内核的使用率接近100%，并且一批进程的CPU使用率明显存在2:1的使用比例的对比：

![quota02][]

容器cpu2的CPU使用如下所示：

![quota03][]

容器cpu3的CPU使用如下图示：

![quota04][]

分别进入容器后，使用top命令可以明显地看出容器之间的资源使用对比，并且也达到了绑定CPU内核的目的。

*注意：如果使用nsenter之类的工具进入容器，再使用stress -c 10进行测试，就可以发现cpuset-cpus的限制是可以被突破的，从而使stress测试进程使用宿主机的所有CPU内核。这是因为nsenter使用挂载的方式直接进入了容器的命名空间，突破了命名空间中的cgroup控制。*

### **内存配额控制** ###

和CPU控制一样，docker也提供了若干参数来控制容器的内存使用配额，可以控制容器的swap大小、可用内存大小等各种内存方面的控制。主要有以下参数：

*  memory-swappiness：控制进程将物理内存交换到swap分区的倾向，默认系数为60。系数越小，就越倾向于使用物理内存。值范围为0-100。当值为100时，表示尽量使用swap分区；当值为0时，表示禁用容器 swap 功能(这点不同于宿主机，宿主机 swappiness 设置为 0 也不保证 swap 不会被使用)。
 *  –kernel-memory：内核内存，不会被交换到swap上。一般情况下，不建议修改，可以直接参考docker的官方文档。
 *  –memory:设置容器使用的最大内存上限。默认单位为byte，可以使用K、G、M等带单位的字符串。
 *  –memory-reservation：启用弹性的内存共享，当宿主机资源充足时，允许容器尽量多地使用内存，当检测到内存竞争或者低内存时，强制将容器的内存降低到memory-reservation所指定的内存大小。按照官方说法，不设置此选项时，有可能出现某些容器长时间占用大量内存，导致性能上的损失。
 *  –memory-swap：等于内存和swap分区大小的总和，设置为-1时，表示swap分区的大小是无限的。默认单位为byte，可以使用K、G、M等带单位的字符串。如果–memory-swap的设置值小于–memory的值，则使用默认值，为–memory-swap值的两倍。

默认情况下，容器可以使用主机上的所有空闲内存。

与CPU的cgroups配置类似，docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长ID>中创建相应cgroup配置文件，例如下面的文件：

![quota05][]

这些文件与docker的相关配置是一一对应的，可以参考RedHat的文档[Resource\_Management\_Guide的内存部分][Resource_Management_Guide]来查看它们的作用。

**内存配额控制使用示例**

设置容器的内存上限，参考命令如下所示：

docker run -tid —name mem1 —memory 128m ubuntu:stress /bin/bash

默认情况下，除了–memory指定的内存大小以外，docker还为容器分配了同样大小的swap分区，也就是说，上面的命令创建出的容器实际上最多可以使用256MB内存，而不是128MB内存。如果需要自定义swap分区大小，则可以通过联合使用–memory–swap参数来实现控制。

对上面的命令创建的容器，可以查看到在cgroups的配置文件中，查看到容器的内存大小为128MB (128×1024×1024=134217728B)，内存和swap加起来大小为256MB (256×1024×1024=268435456B)。

cat /sys/fs/cgroup/memory/docker/<容器的完整ID>/memory.limit\_in\_bytes  
134217728  
cat /sys/fs/cgroup/memory/docker/<容器的完整ID>/memory.memsw.limit\_in\_bytes  
268435456

注意：执行上述命令时，命令行可能会输出下面的警告：

WARNING: Your kernel does not support swap limit capabilities, memory limited without swap.

这是因为主机上默认不启用cgroup来控制swap分区，可以参考[docker官方的相应文档][docker]，修改grub启动参数。

在容器中，依次使用下面的stress命令，即可对容器的内存进行压力测试，确认内存。

stress –vm 1 –vm-bytes 256M –vm-hang 0 &  
stress –vm 1 –vm-bytes 250M –vm-hang 0 &

![quota06][]

可以发现，使用256MB进行压力测试时，由于超过了内存上限（128MB内存+128MB swap），进程被OOM杀死。使用250MB进行压力测试时，进程可以正常运行，并且通过docker stats可以查看到容器的内存已经满负载了。

![quota07][]

### **磁盘IO配额控制** ###

相对于CPU和内存的配额控制，docker对磁盘IO的控制相对不成熟，大多数都必须在有宿主机设备的情况下使用。主要包括以下参数：

*  –device-read-bps：限制此设备上的读速度（bytes per second），单位可以是kb、mb或者gb。
 *  –device-read-iops：通过每秒读IO次数来限制指定设备的读速度。
 *  –device-write-bps ：限制此设备上的写速度（bytes per second），单位可以是kb、mb或者gb。
 *  –device-write-iops：通过每秒写IO次数来限制指定设备的写速度。
 *  –blkio-weight：容器默认磁盘IO的加权值，有效值范围为10-100。
 *  –blkio-weight-device： 针对特定设备的IO加权控制。其格式为DEVICE\_NAME:WEIGHT

存储配额控制的相关参数，可以参考[Red Hat文档中blkio这一章][Red Hat_blkio]，了解它们的详细作用。

**磁盘IO配额控制示例**

**blkio-weight**

要使–blkio-weight生效，需要保证IO的调度算法为CFQ。可以使用下面的方式查看：

root@ubuntu:~\# cat /sys/block/sda/queue/scheduler  
noop \[deadline\] cfq

使用下面的命令创建两个–blkio-weight值不同的容器：

docker run -ti –rm –blkio-weight 100 ubuntu:stress  
docker run -ti –rm –blkio-weight 1000 ubuntu:stress

在容器中同时执行下面的dd命令，进行测试：

time dd if=/dev/zero of=test.out bs=1M count=1024 oflag=direct

最终输出如下图所示：

![quota08][]

在我的测试环境上没有达到理想的测试效果，通过docker官方的[blkio-weight doesn’t take effect in docker Docker version 1.8.1 \#16173][blkio-weight doesn_t take effect in docker Docker version 1.8.1 _16173]，可以发现这个问题在一些环境上存在，但docker官方也没有给出解决办法。

**device-write-bps**

使用下面的命令创建容器，并执行命令验证写速度的限制。

docker run -tid –name disk1 –device-write-bps /dev/sda:1mb ubuntu:stress

通过dd来验证写速度，输出如下图示：

![quota09][]

可以看到容器的写磁盘速度被成功地限制到了1MB/s。device-read-bps等其他磁盘IO限制参数可以使用类似的方式进行验证。

**容器空间大小限制**

在docker使用devicemapper作为存储驱动时，默认每个容器和镜像的最大大小为10G。如果需要调整，可以在daemon启动参数中，使用dm.basesize来指定，但需要注意的是，修改这个值，不仅仅需要重启docker daemon服务，还会导致宿主机上的所有本地镜像和容器都被清理掉。

使用aufs或者overlay等其他存储驱动时，没有这个限制。

~~~以上所有截图测试环境，宿主机为Ubuntu 14.04.4，docker版本为1.10.3~~~

[https_github.com_docker]: https://github.com/docker
[https_github.com_docker_libcontainer_blob_v1.2.0_cgroups_fs_memory.go_L39]: https://github.com/docker/libcontainer/blob/v1.2.0/cgroups/fs/memory.go#L39
[https_blog.csdn.net_shimachao_article_details_53728507]: https://blog.csdn.net/shimachao/article/details/53728507
[https_blog.csdn.net_horsefoot_article_details_51731543]: https://blog.csdn.net/horsefoot/article/details/51731543
[CPU]: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Resource_Management_Guide/sec-cpu.html
[quota01]: /images/20220329/add620d3d2d741edaf4c24e4f0d9673b.png
[quota02]: /images/20220329/8e34e36094d54c07be36acd310c75762.png
[quota03]: /images/20220329/a564269a42cb4c3ca7ff7168359af330.png
[quota04]: /images/20220329/b0d1158155f147b6bee8e632e8552fef.png
[quota05]: /images/20220329/ef130207178a49e1b8bc354df74a6dec.png
[Resource_Management_Guide]: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Resource_Management_Guide/sec-memory.html
[docker]: https://docs.docker.com/engine/installation/linux/ubuntulinux/#adjust-memory-and-swap-accounting
[quota06]: /images/20220329/053089414a0b4c4f82f71b61e327bd9c.png
[quota07]: /images/20220329/f5dd19d2497244ea90a57cb1fcd21b2d.png
[Red Hat_blkio]: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Resource_Management_Guide/ch-Subsystems_and_Tunable_Parameters.html#sec-blkio
[quota08]: /images/20220329/a7e59a513c894c8897929c7217409492.png
[blkio-weight doesn_t take effect in docker Docker version 1.8.1 _16173]: https://github.com/docker/docker/issues/16173
[quota09]: /images/20220329/cc900c214c79412192e1f726f9ad05c9.png