【k8s】k8s容器状态Terminating无法删除

r囧r小猫 2024-05-11 09:12 89阅读 0赞

## 容器状态一直为Terminating的解决方案 ##

若Pod的状态为Terminating，说明此Pod正处于关闭状态。Pod停留在Terminating状态一段时间后会被自动删除。若Pod一直停留在Terminating状态，则：  
1、判断是否为k8s和docker容器状态不一致问题造成；  
2、判断 Pod 上是否有 finalizers ，如果有需要确认是否是有防止删除的保护；  
3、判断节点是否出现 NotReady，节点如果处于NotReady，此节点上出现 Pod 状态 Terminating 是预期中的行为

如果确定可以安全删除 Pod，可执行如下命令强制删除：

kubectl delete pod [namespace] --grace-period=0 --force

## k8s和docker容器状态不一致解决方法 ##

在内存紧张、系统负载极高、IO 负载极高时，Pod 底层容器可能出现 dockerd 查询到的容器状态，跟真实容器关联进程状态不一致的问题。因为 kubelet 只跟 dockerd 通信，从 kubelet 层面，就无法感知 Pod 的真实状态了。Pod状态为Running，但实际服务异常；如果删除Pod，会长期卡在Terminating  
解决方案  
检测是否为BAD容器，执行下列命令有 BAD 相关输出

for c in `docker ps -q`; do echo $c; pc=`docker inspect $c -f "{
       { .State.Pid }}"`; echo $pc; ps aux |grep -v grep | grep " $pc " || echo "BAD: container_id: $c, pid: $pc"; done | grep BAD

批量逐个清理BAD容器。默认只会输出要删除的容器命令，复制执行会逐个删除

for c in `docker ps -q`; do echo $c; pc=`docker inspect $c -f "{
       { .State.Pid }}"`; echo $pc; ps aux |grep -v grep | grep " $pc " || echo docker rm -f $c; done | grep 'docker rm -f'

清理全部异常容器(重启docker)

systemctl restart docker

## 参考 ##

[k8s容器状态Terminating无法删除][k8s_Terminating]

[k8s_Terminating]: https://www.jianshu.com/p/7ae091c343c5