kubernetes1.4新特性：支持sysctl命令

小咪咪 2022-07-14 01:00 181阅读 0赞

## 背景介绍 ##

sysctl是一个允许改变正在运行中的Linux系统内核参数的接口。可以通过sysctl修改Linux系统内核中的TCP/IP 堆栈和虚拟内存系统的高级选项，而且不需要重新启动Linux系统，就可以实现优化Linux系统和提高应用进程运行性能。

通过Linux系统中的/proc虚拟文件系统来实现动态配置Linux系统内核参数，在/proc/sys目录下有Linux系统绝大多数的内核参数，这些内核参数可以在Linux系统运行时进行修改，并且不需要重新启动Linux系统便可以立刻生效，但是这种修改在重新启动Linux系统后便会失效，要是想永久生效的话，需要更改配置文件/etc/sysctl.conf中相应的内核参数配置项。

可以通过下面命令获取sysctl可以操作的所有内核参数配置项和已经配置的数值：

\# sysctl –a

![Center][]

这些内核参数主要包括下面几类配置项：

*  全局内核配置项：以“**kernel.**”为配置项前缀，举例：

1.  **kernel.shmmax** = 33554432（共享内存段的最大尺寸，以字节为单位）
2.  **kernel.threads-max** = 139264（Linux内核所能使用的线程最大数量）

*  网络配置项：以“**net.**”为配置项前缀，举例：

1.  **net.ipv4.ipfrag\_low\_thresh** = 196608（用于IP分片汇聚的最小内存用量）
2.  **net.ipv4.ipfrag\_high\_thresh** = 262144（用于IP分片汇聚的最大内存用量）

*  虚拟内存配置项：以“**vm.**”为配置项前缀，举例：

1.  **vm.swappiness** = 60（减少系统对于swap频繁的写入，将加快应用程序之间的切换，有助于提升系统性能）
2.  **vm.dirty\_ratio** = 40（该文件表示如果进程产生的废数据到达系统整体内存的百分比，此时进程自信把废数据写回磁盘）

*  设备专用配置项：以“**dev.**”为配置项前缀，举例：

1.  **dev.raid.speed\_limit\_max** = 200000（需要初始化同步RAID的同步最大速度限制）
2.  **dev.raid.speed\_limit\_min** = 1000（需要初始化同步RAID的同步最小速度限制）

*  文件系统专用配置项：以“**fs.**”为配置项前缀

1.  **fs.file-max** = 779703（可以分配的文件句柄的最大数目）
2.  **fs.file-nr **= 3930 0 779703（已分配文件句柄的数目，已使用文件句柄的数目，文件句柄的最大数目，该文件是只读的，仅用于显示信息）

![Center 1][]

## 容器相关内核参数 ##

上面介绍了通过sysctl可以操作Linux系统内核参数，在这些内核参数中，有些不但是操作系统全局级别的内核参数，还是命名空间级别的内核参数。对于容器来说，是通过命名空间实现隔离的，那么就意味着这些命名空间级别的参数是容器相关的内核参数。

Linux系统命名空间的分类如下：

![Center 2][]

命名空间级别的内核参数包括：

*  kernel.shm\*（内核中共享内存相关参数），举例：

1.  **kernel.shmall** = 3774873（可以使用的共享内存的总量）
2.  **kernel.shmmax** = 15461882265（单个共享内存段的最大值）

*  kernel.msg\*（内核中SystemV消息队列相关参数）

1.  **kernel.msgmnb** = 16384（每个消息队列的最大字节限制）
2.  **kernel.msgmni** = 128（同时运行的最大的消息队列个数）

*  kernel.sem（内核中信号量参数）

1.  **kernel.sem** = 250 32000 100 128（每个信号集中的最大信号量数目、系统范围内的最大信号量总数目、每个信号发生时的最大系统操作数目、系统范围内的最大信号集总数目）

*  fs.mqueue.\*（内核中POSIX消息队列相关参数）

1.  **fs.mqueue. msg\_max** = 32678（队列里缓存的软最大消息数目）
2.  **fs.mqueue. msgsize\_max** = 8192（最大消息长度上限）

*  net.\*（内核中网络配置项相关参数）

1.  **net.ipv4.ipfrag\_low\_thresh** = 196608（用于IP分片汇聚的最小内存用量）
2.  **net.ipv4.ipfrag\_high\_thresh** = 262144（用于IP分片汇聚的最大内存用量）

![Center 3][]

## 新特性 ##

因为sysctl可以修改命名空间级别的内核参数，所以在[**Kubernetes1.4**][Kubernetes1.4]中通过sysctl来配置POD中Linux内核参数的功能，通过修改POD中Linux内核参数，可以优化POD性能，提升POD中容器运行效率。在Kubernetes1.4中这还是一个阿尔法特性。

![Center 4][]

修改Linux内核参数存在安全风险，修改错误很可能会降低系统性能，甚至会引起系统崩溃，所以需要谨慎对待。在Kubernetes1.4中将命名空间级别的内核参数分成了两类，一类是安全的内核参数，一类是不安全的内核参数。所谓安全的命名空间级别内核参数，就是要能够实现相同节点上不同POD之间的完全隔离，要满足如下条件：

1.  不能对相同节点上其他[**POD**][POD]产生任何影响
2.  不能对节点上操作系统健康造成影响
3.  不能在POD资源限制以外获取更多的CPU和内存资源

根据上面三个条件可以发现，大多数的命名空间级别内核参数都不是安全的。在Kubernetes1.4中，认为下面的命名空间级别内核参数是安全的：

1.  kernel.shm\_rmid\_forced = 1（表示是否强制将共享内存和一个进程联系在一起，这样的话可以通过杀死进程来释放共享内存）
2.  net.ipv4.ip\_local\_port\_range =1024 65000（表示允许使用的端口范围）
3.  net.ipv4.tcp\_syncookies = 1（表示是否打开TCP同步标签，同步标签可以防止一个套接字在有过多试图连接时引起过载）

![Center 5][]

在**[Kubernetes][]**以后的版本中，还会继续扩充安全的命名空间级别内核参数。在Kubernetes中，所有安全的命名空间级别内核参数默认都是启用状态的，所有不安全的命名空间级别内核参数默认都是禁用状态的，如果想设置不安全的内核参数，需要Kubernetes管理员手工启用。如果管理员没有手工启用不安全的内核参数，那么Kubernetes仍然会进行调度，将这些带有不安全内核参数的POD分配到节点上，但是这些POD在启动时会失败。

在启动kubelet时通过增加参数“experimental-allowed-unsafe-sysctls”来启用不安全的命名空间级别内核参数：

可以在POD配置文件中设置已经被启用的命名空间级别内核参数：

![Center 6][]

上面的配置文件在POD中设置了安全的命名空间级内核参数：kernel.shm\_rmid\_forced，并且在POD中设置了两个不安全的命名空间级内核参数：net.ipv4.route.min\_pmte和kernet.msgmax。

在annotations中的“security.alpha.kubernetes.io/sysctls”参数上设置安全的命名空间级内核参数，在annotations中的“security.alpha.kubernetes.io/unsafe-sysctls”参数上设置不安全的命名空间级内核参数。

原文：[kubernetes1.4新特性：支持sysctl命令][kubernetes1.4_sysctl]

[Center]: /images/20220714/455cf32ff87243d09b4101d8bb1a5ba4.png
[Center 1]: /images/20220714/25607d74396d485a8a12792d7da2e7c7.png
[Center 2]: /images/20220714/048e3140c1734c9e84c7538ad13f95d8.png
[Center 3]: /images/20220714/f6b18e142e6742188a155005a913396d.png
[Kubernetes1.4]: http://www.kubernetes.org.cn/tags/kubernetes1-4
[Center 4]: /images/20220714/ffaa19f885044b75bc9ec657b3b33659.png
[POD]: http://www.kubernetes.org.cn/tags/pod
[Center 5]: /images/20220714/c94fedde5dc94621bd358c26545d2a3b.png
[Kubernetes]: http://www.kubernetes.org.cn/
[Center 6]: /images/20220714/1dfa96d2c7c145c38434e8db119dc83e.png
[kubernetes1.4_sysctl]: http://www.kubernetes.org.cn/721.html