19 个 K8S 日常故障处理集锦

朱雀 2022-08-29 00:15 402阅读 0赞

# 问题1：K8S集群服务访问失败？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]  
原因分析：证书不能被识别，其原因为：自定义证书，过期等。

解决方法：更新证书即可。

# 问题2：K8S集群服务访问失败？ #

curl: (7) Failed connect to 10.103.22.158:3000; Connection refused

原因分析：端口映射错误，服务正常工作，但不能提供服务。

解决方法：删除svc，重新映射端口即可。

kubectl delete svc nginx-deployment

# 问题3：K8S集群服务暴露失败？ #

Error from server (AlreadyExists): services "nginx-deployment" already exists

原因分析：该容器已暴露服务了。

解决方法：删除svc，重新映射端口即可。

# 问题4：外网无法访问K8S集群提供的服务？ #

原因分析：K8S集群的type为ClusterIP，未将服务暴露至外网。

解决方法：修改K8S集群的type为NodePort即可，于是可通过所有K8S集群节点访问服务。

kubectl edit svc nginx-deployment

# 问题5：pod状态为ErrImagePull？ #

readiness-httpget-pod   0/1     ErrImagePull   0          10s

![在这里插入图片描述][d473def88514455dab59c7fa04abb41e.png]  
原因分析：image无法拉取；  
![在这里插入图片描述][0084f8b8d7854d1b80d38271ff3ccb4f.png]  
![在这里插入图片描述][b4d9d17479f54c5dac5006d17a9f0bca.png]  
解决方法：更换镜像即可。

# 问题6：创建init C容器后，其状态不正常？ #

NAME READY STATUS RESTARTS AGE
    myapp-pod 0/1 Init:0/2 0 20s

原因分析：查看日志发现，pod一直出于初始化中；然后查看pod详细信息，定位pod创建失败的原因为：初始化容器未执行完毕。

Error from server (BadRequest): container "myapp-container" in pod "myapp-pod" is waiting to start: PodInitializing

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]

waiting for myservice
    
    Server: 10.96.0.10
    Address: 10.96.0.10:53
    
    ** server can't find myservice.default.svc.cluster.local: NXDOMAIN
    
    *** Can't find myservice.svc.cluster.local: No answer
    *** Can't find myservice.cluster.local: No answer
    *** Can't find myservice.default.svc.cluster.local: No answer
    *** Can't find myservice.svc.cluster.local: No answer
    *** Can't find myservice.cluster.local: No answer

方法：创建相关service，将SVC的name写入K8S集群的coreDNS服务器中，于是coreDNS就能对POD的initC容器执行过程中的域名解析了。

kubectl apply -f myservice.yaml

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]

NAME READY STATUS RESTARTS AGE
    
    myapp-pod 0/1 Init:1/2 0 27m
    myapp-pod 0/1 PodInitializing 0 28m
    myapp-pod 1/1 Running 0 28m

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]

# 问题7：探测存活pod状态为CrashLoopBackOff？ #

原因分析：镜像问题，导致容器重启失败。

解决方法：更换镜像即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]\# 问题8：POD创建失败？

readiness-httpget-pod 0/1 Pending 0 0s
    readiness-httpget-pod 0/1 Pending 0 0s
    readiness-httpget-pod 0/1 ContainerCreating 0 0s
    readiness-httpget-pod 0/1 Error 0 2s
    readiness-httpget-pod 0/1 Error 1 3s
    readiness-httpget-pod 0/1 CrashLoopBackOff 1 4s
    readiness-httpget-pod 0/1 Error 2 15s
    readiness-httpget-pod 0/1 CrashLoopBackOff 2 26s
    readiness-httpget-pod 0/1 Error 3 37s
    readiness-httpget-pod 0/1 CrashLoopBackOff 3 52s
    readiness-httpget-pod 0/1 Error 4 82s

原因分析：镜像问题导致容器无法启动。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]  
解决方法：更换镜像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]

# 问题9：POD的ready状态未进入？ #

readiness-httpget-pod   0/1     Running   0          116s

原因分析：POD的执行命令失败，无法获取资源。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]  
解决方法：进入容器内部，创建yaml定义的资源  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]

# 问题10：pod创建失败？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]  
原因分析：yml文件内容出错—-使用中文字符；

解决方法：修改myregistrykey内容即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]

# 11、kube-flannel-ds-amd64-ndsf7插件pod的status为Init:0/1？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]  
原因分析：k8s-slave1节点拉取镜像失败。

解决方法：登录k8s-slave1，重启docker服务，手动拉取镜像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]  
k8s-master节点，重新安装插件即可。

kubectl create -f kube-flannel.yml;kubectl get nodes

![在这里插入图片描述][91345bfd2cf84174abb200ccc0a6c7cd.png]

# 12、K8S创建服务status为ErrImagePull？ #

![在这里插入图片描述][d7f6d9d66b224152b4d30117ad8a26e7.png]  
排查思路：

kubectl describe pod test-nginx

![在这里插入图片描述][983902e1c40d4bbd9fc0a4d75abfb647.png]  
原因分析：拉取镜像名称问题。

解决方法：删除错误pod；重新拉取镜像；

kubectl delete pod test-nginx;kubectl run test-nginx --image=10.0.0.81:5000/nginx:alpine

# 13、不能进入指定容器内部？ #

![在这里插入图片描述][0c90ff8cac3c4512a4e0c3595acf54dd.png]  
原因分析：yml文件comtainers字段重复，导致该pod没有该容器。

解决方法：去掉yml文件中多余的containers字段，重新生成pod。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]

# 14、创建PV失败？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]  
原因分析：pv的name字段重复。

解决方法：修改pv的name字段即可。  
![在这里插入图片描述][8b58cde8cd1b46848e01f1cf6e76e32c.png]

# 15.pod无法挂载PVC？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 18]  
原因分析：pod无法挂载PVC。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 19]  
accessModes与可使用的PV不一致，导致无法挂载PVC，由于只能挂载大于1G且accessModes为RWO的PV，故只能成功创建1个pod，第2个pod一致pending，按序创建时则第3个pod一直未被创建；

解决方法：修改yml文件中accessModes或PV的accessModes即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 20]

# 16、问题：pod使用PV后，无法访问其内容？ #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 21]  
原因分析：nfs卷中没有文件或权限不对。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 22]  
解决方法：在nfs卷中创建文件并授予权限。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 23]

# 17、查看节点状态失败？ #

Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)

原因分析：没有heapster服务。

解决方法：安装promethus监控组件即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 24]

# 18、pod一直处于pending’状态？ #

![在这里插入图片描述][69663d6045f7430cb8903d48cd22e676.png]  
原因分析：由于已使用同样镜像发布了pod，导致无节点可调度。  
![在这里插入图片描述][cf25763d28c148e0941bdc33611ec42e.png]解决方法：删除所有pod后部署pod即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 25]

# 19、helm安装组件失败？ #

[root@k8s-master01 hello-world]# helm install
    
    Error: This command needs 1 argument: chart nam
    
    [root@k8s-master01 hello-world]# helm install ./
    Error: no Chart.yaml exists in directory "/root/hello-world"

原因分析：文件名格式不对。

解决方法：mv chart.yaml Chart.yaml  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 26]

参考链接 ：  
https://mp.weixin.qq.com/s/CXmw4pagtA2D4soNu3dejg  
19 个 K8S 日常故障处理集锦！  
源：https://www.cnblogs.com/chalon/p/14415252.html

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]: /images/20220829/0a29796c32244eab9082ea4f163786ab.png
[d473def88514455dab59c7fa04abb41e.png]: /images/20220829/22bbda01056645c2904fa19df97e28dd.png
[0084f8b8d7854d1b80d38271ff3ccb4f.png]: /images/20220829/435b004a8f124925a2e30c852a5b2efd.png
[b4d9d17479f54c5dac5006d17a9f0bca.png]: /images/20220829/37e9abbcbabe4dbea671bf2424203ce8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]: /images/20220829/01ebff1b2a23405094fb060a929eecb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]: /images/20220829/9d0fcbc870d847d99e319ea77b50658b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]: /images/20220829/6ac7699df05946f29b0d23eb7951fbcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]: /images/20220829/db09eb63c956494484471277094f74a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]: /images/20220829/bb6a2da46e69452498d125e0ddf99786.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]: /images/20220829/ef52e51c08f14feda818a6e2ba27d1ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]: /images/20220829/23905c4f65804cf99a8d8f831e586749.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]: /images/20220829/926609ccddb34335a02afb3c51f2fb1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]: /images/20220829/6869f6bc97f148208bc030ba5d71e0cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]: /images/20220829/b0e480b20c0545b6924eab35d6360ca2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]: /images/20220829/0fbcb8cb2b9e4cc4a29c64a081ecdcfb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]: /images/20220829/8ffb6970257f47aa87ccd574f40a3541.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]: /images/20220829/fa20a2525a5948118fffb5d92de373ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]: /images/20220829/7acff6f342cb47089b70613abb0bb349.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]: /images/20220829/6609a4fe499f481bb438410b43cfdec3.png
[91345bfd2cf84174abb200ccc0a6c7cd.png]: /images/20220829/9c728c8fbd7b47b398f66fb81f08d9cb.png
[d7f6d9d66b224152b4d30117ad8a26e7.png]: /images/20220829/d0c007dbf4cf48879d005f25bc9059e1.png
[983902e1c40d4bbd9fc0a4d75abfb647.png]: /images/20220829/0249c2ffa3374aa5a75a1c3cac73ddb0.png
[0c90ff8cac3c4512a4e0c3595acf54dd.png]: /images/20220829/485627e6b8274b9ba1da20232156aa8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]: /images/20220829/f9dc5a7733a54bfdb815007c383ed3e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]: /images/20220829/fd1a854ec3524ab9a7342c22b3575a41.png
[8b58cde8cd1b46848e01f1cf6e76e32c.png]: /images/20220829/4fb6b8fc9f424f108eba03f84961d690.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 18]: /images/20220829/4610c169c5a44a01a684b30847fed30d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 19]: /images/20220829/2de2f92ec5084fa7b81ecc6b65376a54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 20]: /images/20220829/84ee287b8f2e4a409210d38eb7c97230.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 21]: /images/20220829/2fbfd8feb8314e6e901dcbcd2f2a80f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 22]: /images/20220829/5cf6284af8174f08ae631d45c58efc69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 23]: /images/20220829/9d9b6366af844e48b66c6f25ecf6f04e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 24]: /images/20220829/664744934fd94b569113ba7d13876e13.png
[69663d6045f7430cb8903d48cd22e676.png]: /images/20220829/b1e1cad521fb43d4a0d9a9bac8e187d5.png
[cf25763d28c148e0941bdc33611ec42e.png]: /images/20220829/87042930e1f043418da16f5fcd8294a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 25]: /images/20220829/8b5e9e5674084b5d870fc60c7d65423a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 26]: /images/20220829/2798ccbbdb3c4b52a1dca6e19f7b341c.png