解决公网下，k8s calico master节点无法访问node节点创建的pod

红太狼 2024-02-18 04:18 31阅读 0赞

目的：解决pod部署成功后，只能在node节点访问，而master节点无法访问

原因：集群搭建时，没有配置公网进行kubectl操作，从而导致系统默认node节点，使用内网IP加入k8s集群！如下：

![3b79748f723345dfb8b86c814b7255cf.png][]

解决方案：围绕公网IP进行搭建即可，其实就是在传统的搭建步骤下，给master节点和node节点添加下公网网卡就可以了

--------------------

#### 1、机器IP清单 ####

*  我的两台服务器的都是云服务器
 *  我的master节点IP为111.230开头的
 *  我只有一个node节点，IP为192.168.9.96（该IP与calico网段冲突）

#### 2、重置master节点的kubeadm ####

kubeadm reset

#### 3、在master节点上创建公网的虚拟网卡 ####

*  看一下你的公网IP是否在机器中存在

ip a | grep 你的公网IP

*  如果没有就执行下面这段代码新增一个和公网IP一样的虚拟网卡IP

cat > /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<EOF
    BOOTPROTO=static
    DEVICE=eth0:1
    IPADDR=111.230.19.178  #这里是你的公网IP
    PREFIX=32
    TYPE=Ethernet
    USERCTL=no
    ONBOOT=yes
    EOF

*  重置网络

systemctl restart network

重置失败就直接去重启电脑就可以了

4**、初始化master主节点**

*  注意pod的网络范围为172.17.0.0/16，因为我有一台机器是192.168开头的

kubeadm init \
    --apiserver-advertise-address=111.230.19.178 \
    --control-plane-endpoint=cluster-endpoint \
    --image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \
    --kubernetes-version v1.20.9 \
    --service-cidr=10.96.0.0/16 \
    --pod-network-cidr=172.17.0.0/16

初始化成功后的日志：

> Your Kubernetes control-plane has initialized successfully!
> 
> To start using your cluster, you need to run the following as a regular user:
> 
> mkdir -p $HOME/.kube  
> sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  
> sudo chown $(id -u):$(id -g) $HOME/.kube/config
> 
> Alternatively, if you are the root user, you can run:
> 
> export KUBECONFIG=/etc/kubernetes/admin.conf
> 
> You should now deploy a pod network to the cluster.  
> Run "kubectl apply -f \[podnetwork\].yaml" with one of the options listed at:  
> https://kubernetes.io/docs/concepts/cluster-administration/addons/
> 
> You can now join any number of control-plane nodes by copying certificate authorities  
> and service account keys on each node and then running the following as root:
> 
> kubeadm join cluster-endpoint:6443 --token wxt6jz.xf9g3va8xpggfoc9 \\  
> \--discovery-token-ca-cert-hash sha256:2326cb4e54fe2fd92d112e01d1caf3e58735665e480f3d5aa364d47e52088b7c \\  
> \--control-plane
> 
> Then you can join any number of worker nodes by running the following on each as root:
> 
> kubeadm join cluster-endpoint:6443 --token wxt6jz.xf9g3va8xpggfoc9 \\  
> \--discovery-token-ca-cert-hash sha256:2326cb4e54fe2fd92d112e01d1caf3e58735665e480f3d5aa364d47e52088b7c

#### 5、修改calico.yaml中的网段 ####

![4fac942cf5594de29704d34f6a8a4782.png][]

搜索：192.168

![b04ab8a5d55645bb94b850bf4c37a0d8.png][]

取消注释，并修改网段：

*  与步骤3中的pod-network-cidr保持一致

![9e3912d64705454ca6bd242bd8c8edc0.png][]

#### 6、kubectl应用calico ####

![33c807000e694730a7c2bce9389566af.png][]

#### 7、重置node节点 ####

kubeadm reset

#### 8、在node节点上创建公网的虚拟网卡 ####

*  看一下你的公网IP是否在机器中存在

ip a | grep 你的公网IP

*  如果没有就执行下面这段代码新增一个和公网IP一样的虚拟网卡IP

cat > /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<EOF
    BOOTPROTO=static
    DEVICE=eth0:1
    IPADDR=139.159.228.xx  #这里是你的公网IP
    PREFIX=32
    TYPE=Ethernet
    USERCTL=no
    ONBOOT=yes
    EOF

*  重置网络

systemctl restart network

重置失败就直接去重启电脑就可以了

#### 9、去node节点重新加入到k8s集群 ####

*  这里一点要把行前的空格去掉！

> kubeadm join cluster-endpoint:6443 --token wxt6jz.xf9g3va8xpggfoc9 \\  
> \--discovery-token-ca-cert-hash sha256:2326cb4e54fe2fd92d112e01d1caf3e58735665e480f3d5aa364d47e52088b7c

![aa6997ddf09247d4b72eab2f52c198c7.png][]

使用docker ps查看正在运行的容器：

发现node节点的calico正常运行了：

![470000f565f64a83be9161c70049f356.png][]

#### 10、在主节点检查pod信息 ####

在master节点执行：

kubectl get pod -A -owide

![6648ffb522834a6db5e7bc5274cfd80e.png][]

*  node节点上的pod已经全部变为外网IP了，master节点也能正常访问node节点上的pod

#### 11、验证 ####

验证master节点是否能正常访问node节点

直接在步骤10中，找一个node上的pod访问即可，如（上面如标框框的一个）：

kubectl logs calico-node-rs4hj -n kube-system

![36b5bbeb347f4974968082a6fa35fd70.png][]

[3b79748f723345dfb8b86c814b7255cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/51b409edc60441bbabecf137ea50ff95.png
[4fac942cf5594de29704d34f6a8a4782.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/7507a925a9f94509974b028f9662178c.png
[b04ab8a5d55645bb94b850bf4c37a0d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/25b280b749f64ee885cf00e6beab85ed.png
[9e3912d64705454ca6bd242bd8c8edc0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/4d724d322ba448e09e49980c4038ac5a.png
[33c807000e694730a7c2bce9389566af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/18ad1e6ea39c42c4a9f56da127daf81c.png
[aa6997ddf09247d4b72eab2f52c198c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/56c036e83fe0434ebbd9260f1acaba9d.png
[470000f565f64a83be9161c70049f356.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/3b149a95e7dc46d9b334386bf1d84399.png
[6648ffb522834a6db5e7bc5274cfd80e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/639726f01fe84521adc317c2198f9960.png
[36b5bbeb347f4974968082a6fa35fd70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/ada4dfb1e915461e84ad8fcf539bd03e.png