K8S是否存在因DiskPressure驱逐pod，cks老鸟来剖析！

末蓝、 2023-10-04 23:09 29阅读 0赞

### 一、问题描述 ###

在日常操作维护 Kubernetes 过程中我们会经常遇到很多问题，其中经常收到的告警信息就是节点磁盘压力，即 `DiskPressure` 警告。当出现该警告不久后 Pod 会被驱逐，甚至节点机器的 Docker 镜像也被清理。在生产中这些情况是不能忍受的，我们探究一下是什么原因导致的这些，以及如何提前预防并解决相关问题。

### 二、问题分析 ###

首先提出几个问题，然后分别查找相关资料，对具体的疑问一一查找答案。只有了解这些问题如何产生，才能找到具体解决办法。

提出的问题如下:

#### ① Kubernetes 依靠什么组件对节点磁盘进行监控 ####

根据 Kubernetes 官方文档描述，在 Kubernetes 集群中，**节点磁盘使用量的监控是交给 Kubelet 组件完成的**，它会对节点资源使用情况进行分析，等达到一定条件后会执行发出内存、磁盘、pid 资源压力警告。

#### ② Kubelet 监控节点的哪些文件系统 ####

在 Kubernetes 节点组件 Kubelet 目前只支持监控两种文件系统分区，分别为:

*  **nodefs:** kubelet 相关的文件系统，里面存储了 Pod 挂载的卷、守护程序日志等。
 *  **imagefs:** 容器文件系统，里面存储了容器运行时用于保存镜像和容器可写层。

Kubelet 监控文件系统是通过 Google 的 `cAdvisor` 组件完成的，该组件专用于监控容器运行环境，当监控到上面列出的文件系统达到一定量后将会发出 `DiskPressure` 告警，等达到指定阈值，将会对容器及无用镜像相关资源进行清理。

#### ③ Kubelet 根据什么指标对 Pod 执行驱逐的 ####

这个信息在 Kubernetes 官方文档中，Kubelet 会根据以下指标判断是否对 Pod 驱逐进行驱逐:

*  **nodefs.available:** kubelet 相关的文件系统剩余可用存储空间比例。
 *  **nodefs.inodesFree:** kubelet 相关文件节点表 inodes 剩余可用存储空间比例。
 *  **imagefs.available:** 容器运行时文件系统可用存储空间比例。
 *  **imagefs.inodesFree:** 容器运行时 inodes 剩余可用存储空间比例。

#### ④ Kubelet 根据指标达到什么条件才会执行 Pod 驱逐 ####

经过 Kubernetes 文档的介绍，Kubelet 会对下面指标进行判断，当到达设置的条件后，会执行强制驱逐 Pod:

*  **memory.available<100Mi:** 当内存下降到 100Mi 时 kubelet 开始驱逐 Pod 及其容器来释放磁盘空间。
 *  **nodefs.available<10%:** 当 kubelet 相关存储可用的存储不足 10% 时开始驱逐 Pod 及其容器来释放磁盘空间。
 *  **imagefs.available<15%:** 当容器运行时文件系统可用存储空间不足 15% 时开始驱逐 Pod，并且删除没有被使用的镜像来释放空间。
 *  **nodefs.inodesFree<5％:** (仅 Linux 系统): 当容器运行时 inodes 可用存储空间不足 5% 时开始驱逐 Pod 及其容器来释放磁盘空间。

#### ⑤ Kubernetes 触发 DiskPressure 时造成的影响 ####

当触发 `DiskPressure` 告警时，会产生如下的影响:

*  驱逐 Pod
 *  删除未使用的容器
 *  阻止新创建的 Pod 调度到该节点中

#### ⑥ 什么原因导致经常出现 DiskPressure 警告 ####

推测经常出现这个警告的原因可能是:

*  默认情况下 docker 会将自己的持久化文件存储到 `/var/lib/docker` 目录下，这个目录占用空间比较大，导致 /var 目录挂载的磁盘非常容易被占满。
 *  默认情况下 kubelet 会将自身的 Pod 运行时相关数据存储在 `/var/lib/kubelet` 目录下，这个目录空间比较大，导致 /var 目录挂载的磁盘非常容易被占满。
 *  默认情况下 Docker、Kubernetes 和系统等相关日志默认都会存储到 `/var/log` 目录下，日志相关文件占用空间非常大，导致 /var 目录挂载的磁盘非常容易被占满。

上面三个默认配置，一个是 kubelet，一个是 docker 的，还有就是相关日志配置的，并且发现 `var` 目录一般分配的空间不是很大，所以 `/var` 目录挂载的磁盘空间非常容易被日志文件占满。

除此之外，还有一种可能，那就是当发生 `DiskPressure` 告警时，此时磁盘其实可用存储空间还很充足，例如 `1TB` 存储空间，使用率 `80%` 提示 `DiskPressure` 告警，这时候其实还有 `200GB` 可用存储空间。所以，这个磁盘告警比例需要根据节点磁盘的真实情况进行调整。

### 三、解决问题 ###

> 注意: 下面的操作最好在集群搭建初期修改，如果已经在现网环境文档运行，修改请谨慎！

#### 更改 Docker 存储目录 ####

**既然** **`Docker` 目录默认在 `/var/lib/docker` 目录下，且这个目录所挂载的磁盘容易被占满，所以我们修改 `Docker` 配置，将存储的数据单独存放到挂载其它大磁盘的目录中。**

**(1) 查看 Docker 状态，根据显示的信息定位 Docker 存储配置文件的位置**

$ systemctl status -l docker

显示如下信息:

● docker.service - Docker Application Container Engine
       Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
       Active: active (running) since  2021-06-15 10:40:07 CST; 3h 20min ago
         Docs: https://docs.docker.com
     Main PID: 1676 (dockerd)
    ......

可以看到配置文件所在目录是 `/usr/lib/systemd/system/`，配置文件是 `docker.service`。

**(2) 设置 Docker 数据存储目录**

打开 Docker 配置文件

$ vi /usr/lib/systemd/system/docker.service

找到 `ExecStartExecStart=/usr/bin/docker` 这行，在后台添加 `--graph <Docker数据存储目录>`，例如这里目录为 `/apps/data/docker` 则可以按如下配置：

...
    ExecStart=/usr/bin/docker --graph /apps/data/docker
    ...

#### 更改 kubelet 存储目录与告警阈值 ####

**既然** **`Kubelet` 目录默认在 `/var/lib/kubelet` 目录下，且这个目录所挂载的磁盘容易被占满，所以我们修改 `Kubelet` 配置，将存储的数据单独存放到挂载其它大磁盘的目录中。并且根据磁盘真实大小，调整 `Kubelet` 触发 `DisPress` 告警的比例。**

**(1) 查看 kubelet 状态，根据显示的信息定位 kubelet 存储配置文件的位置**

输入下面命令查看 kubelet 状态信息:

$ systemctl status -l kubelet

显示如下信息:

可以观察到配置文件目录所在位置是 `/usr/lib/systemd/system/kubelet.service.d/`，配置文件是 `10-kubeadm.conf`。

**(2) 查看 EnvironmentFile 配置文件所在位置**

打开 kubelet 配置，查看 kubelet 配置文件:

$ cat /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf

可以看到如下内容:

[Service]
    Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
    Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
    EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
    EnvironmentFile=-/etc/sysconfig/kubelet
    ExecStart=
    ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

可以看到 `EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env` 和 `EnvironmentFile=-/etc/sysconfig/kubelet` 俩行配置，其中 `/var/lib/kubelet/kubeadm-flags.env` 是 "kubeadm init" 和 "kubeadm join" 在运行时生成的文件，我们不需要管理该文件。而 `/etc/sysconfig/kubelet` 文件则是供我们用户添加自定义参数的，所以我们需要在这个配置文件中添加我们自定义配置参数。

**(3) 编辑 /etc/sysconfig/kubelet 配置文件**

$ vi /etc/sysconfig/kubelet

然后在 `KUBELET_EXTRA_ARGS=` 后面添加参数 `-root-dir=<新的kubelet存储目录>`:

KUBELET_EXTRA_ARGS=--root-dir=/apps/data/kubelet --eviction-hard=nodefs.available<5% --eviction-hard=imagefs.available<5%

*  **--root-dir=/apps/data/kubelet:** 设置 kubelet 数据存储在 /apps/data/kubelet 目录下。
 *  **--eviction-hard=nodefs.available<5%:** 设置当 kubelet 相关存储可用的存储不足 5% 时开始驱逐 Pod。
 *  **--eviction-hard=imagefs.available<5%:** 当容器运行时文件系统可用存储空间不足 15% 时开始驱逐 Pod。

> 上面的大小限制也可以改成具体的数值，例如 `--eviction-hard=imagefs.available<10Gi`，则表示容器运行时存储小于 10Gi 时进行驱逐。

**(5) 重启 daemon-reload 和 kubelet**

$ systemctl daemon-reload && systemctl restart kubelet

**(6) 再次查看 kubelet 状态，观察上面配置是否生效**

再次支持下面命令查看 kubelet 状态:

$ systemctl status -l kubelet

观察显示的 kubelet 参数是是否存在上面我们配置的参数:

● kubelet.service - kubelet: The Kubernetes Node Agent
       Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
      Drop-In: /usr/lib/systemd/system/kubelet.service.d
               └─10-kubeadm.conf
       Active: active (running) since 二 2021-06-15 13:55:29 CST; 1s ago
         Docs: https://kubernetes.io/docs/
     Main PID: 130986 (kubelet)
        Tasks: 14
       Memory: 26.1M
       CGroup: /system.slice/kubelet.service
               └─130986 /usr/bin/kubelet 
               --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf 
               --kubeconfig=/etc/kubernetes/kubelet.conf 
               --config=/var/lib/kubelet/config.yaml 
               --network-plugin=cni 
               --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.2 
               --root-dir=/apps/data/kubelet 
               --eviction-hard=nodefs.available<5% 
               --eviction-hard=imagefs.available<5%

可以观察到上面信息中已经加载了 `root-dir`、`--eviction-hard` 参数，说明配置已经生效。