一次解决Kubernetes集群内无法访问服务的问题过程

野性酷女 2022-11-21 11:37 219阅读 0赞

### 文章目录 ###

*  一次解决Kubernetes集群内无法访问服务的问题过程
 *   *  前言
     *  解决过程
     *  先检查要访问的服务是否正常
     *  在busybox中测试
     *  检查kube-dns
     *  检查Calico
     *  参考文档

# 一次解决Kubernetes集群内无法访问服务的问题过程 #

## 前言 ##

在Kubernetes集群中创建了一个名为[php-apache][]的Deployment和Service，但是在集群内的另外一个Pod中却无法通过该服务名来访问到服务。

本文描述了解决这一问题的过程，以供参考。

## 解决过程 ##

## 先检查要访问的服务是否正常 ##

# Check deployment 
    kubectl get deployment php-apache -o wide
    
    # Check service
    kubectl get svc php-apache -o wide
    
    # Check pod
    kubectl get pods | grep php-apache

本例中Service的Cluster IP为10.105.77.184，端口为80。

## 在busybox中测试 ##

启动busybox：

kubectl delete pod busybox
    kubectl run -it busybox --image=busybox -- /bin/sh

在busybox pod内，尝试通过服务名访问失败:

wget -q -O- http://php-apache
    wget -q -O- http://php-apache.default
    wget -q -O- http://php-apache.default.svc.cluster.local

但是尝试通过Cluster IP方式访问成功：

wget -q -O- http://10.105.77.184:80

怀疑是`kube-dns`的问题。

## 检查kube-dns ##

# Check deployment
    kubectl get deployment -n kube-system -l k8s-app=kube-dns
    
    # Check service
    kubectl get svc -n kube-system -l k8s-app=kube-dns
    
    # Check endpoint
    kubectl get ep -n kube-system -l k8s-app=kube-dns

发现`kube-dns`正常。

怀疑是网络原因，本例中的Kubernetes集群用的是Calico网络组件。

## 检查Calico ##

# Check daemonset 
    kubectl get ds -n kube-system -l k8s-app=calico-node
    
    # Check pod status and ready
    kubectl get pods -n kube-system -l k8s-app=calico-node
    
    # Check apiservice status
    kubectl get apiservice v1.crd.projectcalico.org -o yaml

发现`calico-node`的2个Pod都不是READY状态。

查看`calico-node` Pod的详细信息：

kubectl describe -n kube-system pod -l k8s-app=calico-node

查看`calico-node` 某个Pod的日志：

kubectl logs -f -n kube-system calico-node-<hash>

发现错误日志为：“*calico/node is not ready: BIRD is not ready: BGP not established*“

在Calico的Manifest中的 “\# Auto-detect the BGP IP address.” 前添加：

# Specify interface
    - name: IP_AUTODETECTION_METHOD
      value: "interface=eth0"

说明：

*  `interface=eth0` 表示选择节点机器的`eth0`网卡，可以通过`ip addr show`来查看网卡。

一个完整的Calico Manifest的例子参见：

*  [calico-eth-ens.yaml][]

`interface`示例：

# 指定某个网卡
    interface=eth0
    interface=ens33
    
    # 指定网卡的前缀
    interface=eth.*
    interface=ens.*
    
    # 指定多个网卡的前缀
    interface=eth.*,ens.*

> calico\_ip\_autodetection\_method\`: This parameter is used to select the interface on the node, and for pod to pod data communication across the nodes. Three methods are available to help select the data path for pods.

参见：

*  [https://www.ibm.com/support/knowledgecenter/SSBS6K\_3.1.1/manage\_network/calico.html][https_www.ibm.com_support_knowledgecenter_SSBS6K_3.1.1_manage_network_calico.html]
 *  [https://docs.projectcalico.org/networking/ip-autodetection][https_docs.projectcalico.org_networking_ip-autodetection]

更新Calico，再重新检查Calico。

再在busybox中测试通过服务名访问成功。

## 参考文档 ##

*  [https://github.com/projectcalico/calico/issues/2561][https_github.com_projectcalico_calico_issues_2561]
 *  [https://v1-16.docs.kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/][https_v1-16.docs.kubernetes.io_docs_tasks_administer-cluster_dns-debugging-resolution]
 *  [https://www.jeffgeerling.com/blog/2019/debugging-networking-issues-multi-node-kubernetes-on-virtualbox][https_www.jeffgeerling.com_blog_2019_debugging-networking-issues-multi-node-kubernetes-on-virtualbox]

[php-apache]: https://github.com/cookcodeblog/k8s-yaml/blob/master/kubernetes_io/hpa/php-apache.yaml
[calico-eth-ens.yaml]: https://github.com/cookcodeblog/k8s-deploy/blob/master/kubeadm_v1.19.3/calico/calico-eth-ens.yaml
[https_www.ibm.com_support_knowledgecenter_SSBS6K_3.1.1_manage_network_calico.html]: https://www.ibm.com/support/knowledgecenter/SSBS6K_3.1.1/manage_network/calico.html
[https_docs.projectcalico.org_networking_ip-autodetection]: https://docs.projectcalico.org/networking/ip-autodetection
[https_github.com_projectcalico_calico_issues_2561]: https://github.com/projectcalico/calico/issues/2561
[https_v1-16.docs.kubernetes.io_docs_tasks_administer-cluster_dns-debugging-resolution]: https://v1-16.docs.kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/
[https_www.jeffgeerling.com_blog_2019_debugging-networking-issues-multi-node-kubernetes-on-virtualbox]: https://www.jeffgeerling.com/blog/2019/debugging-networking-issues-multi-node-kubernetes-on-virtualbox