kubernetes解决Kubelet stopped posting node status问题

﹏ヽ暗。殇╰゛Y 2022-11-27 00:55 210阅读 0赞

### kubernetes解决Kubelet stopped posting node status问题 ###

*   *  问题描述
     *  解决方案

## 问题描述 ##

今天使用`kubectl get nodes`发现k8s集群node1（也就是我们集群的master，操作系统为ubuntu16.04）处于NotReady状态，然后还发现使用`kubectl get pods -n kube-system`发现有2个coredns一直处于Complete状态，但是集群还能正常运行。下面来具体分析和解决此问题。

1.  首先查看node1的详细信息，使用`kubectl describe node1`，结果如下图：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center]  
    通过上面的结果发现出现的问题是`kubelet stopped posting node status`，这说明是kubelet的问题。
2.  接下来看一下kubelet的运行状态，使用`systemctl status kubelet`，发现kubelet处于inactive状态，使用`sudo systemctl restart kubelet`结果依然是incative。接下来看一下kubelet的日志。使用`journalctl -e -u kubelet`，结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 1]  
    其实看了这个log，问题就很明确了，因为swap在开启着所以kubelet自动重启总是会失败。

## 解决方案 ##

sudo swapoff -a
    sudo systemctl restart kubelet

最终的结果如下：

*  kubelet重启结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 2]
 *  k8s各个node的状态  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/80503632afe3401885b2982bdb2d5b29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/bf54c6c40f7d4ee7bfe98fee15f2316a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/a0b71565f1ef4c6d91d4ee91682bbabc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/52929329486940e29909ae7e28cd2e9b.png