完美解决k8s master节点无法ping node节点中的IP或Service NodePort的IP

偏执的太偏执、 2024-02-18 13:18 36阅读 0赞

#### 1、问题一 ####

使用搭建好了K8S集群，先是node节点加入k8s集群时，用的内网IP，导致master节点无法操作node节点中的pod（这里的不能操作，指定是无法查看node节点中pod的日志、启动描述、无法进入pod内部，即 kubectl logs 、kubectl describe、kubectl exec -it 等等的命令都不能）

解决办法：[解决公网下，k8s calico master节点无法访问node节点创建的pod-CSDN博客][k8s calico master_node_pod-CSDN]

#### 2、问题二 ####

master节点能正常访问node节点创建的pod，即问题一所产生的问题

但是master节点**无法ping**通node节点创建pod所属的**Service的IP**

注意：这里ping的是Service，而不是pod的IP，因为k8s节点机器ping pod的IP是肯定不会成功的，节点机器不属于k8s机器内的网络！！！如图：

![3e47b4be1369424ca10d47771a2526f3.png][]

进入主题：我创建了一个mynginx的Service，type为NodePort，如下：

![a1918557ffc440c2a6aa35c33d9b90e1.png][]

但是master节点去ping 10.96.177.91失败，node节点ping是成功的

--------------------

**解决方法：**

###### 2.1、需要使用 ipvs 替换iptables ######

*  所有节点都需要操作，我这里只有一台master和一台node，所以我只在master操作

vim /etc/sysctl.d/k8s.conf

加入：**net.ipv4.ip\_forward = 1**

![33a2a19b19274d5f9f11854f04df6ba1.png][]

*  更新配置

sysctl --system

###### 2.2、安装IPVS ######

yum -y install ipvsadm  ipset

*  临时生效

modprobe -- ip_vs
    modprobe -- ip_vs_rr
    modprobe -- ip_vs_wrr
    modprobe -- ip_vs_sh
    modprobe -- nf_conntrack_ipv4

*  永久生效

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
    modprobe -- ip_vs
    modprobe -- ip_vs_rr
    modprobe -- ip_vs_wrr
    modprobe -- ip_vs_sh
    modprobe -- nf_conntrack_ipv4
    EOF

###### 2.3、配置kube-proxy ######

*  在master上操作，因使用kubeadmin安装，所以操作方式如下

kubectl edit cm kube-proxy -n kube-system

*  找到mode的位置，把mode修改为ipvs

![5a8e6b788eab40358c7caa40c230e5b3.png][]

###### 2.4、重启kube-proxy ######

*  在master重启kube-proxy

kubectl  get pod -n kube-system | grep kube-proxy | awk '{print $1}' | xargs kubectl delete pod -n kube-system

*  使用：kubectl get pod -A 发现kube-proxy成功运行了2个新的pod

![b1869c40a5a44dd7b1c657b3018bb2d6.png][]

###### 2.5、验证kube-proxy的pod是否开启ipvs ######

补充下，k8s有几个节点，就会有几个kube-proxy-xxxx的pod，我们需要去查看对应节点的 kube-proxy-xxxx，不要去查看master节点的kube-proxy-xxxx

kubectl logs kube-proxy-7cb69 -n kube-system

*  kube-proxy-7cb69：这个pod名称，根据node节点实际情况填写

![6ef0ec4c7c334eff8adc608a2297fa36.png][]

开启失败！原因：

> can't set sysctl net/ipv4/vs/conn\_reuse\_mode, kernel version must be at least 4.1

搜索了下，是linux内核版本太低，K8S要求kernel必须大于等于4.1版本

解决方案

[CentOS 7.9升级内核(kernel-5.4.254),解决1 proxier.go:389\] can‘t set sysctl net/ipv4/vs/conn\_reuse\_mode, ker-CSDN博客][CentOS 7.9_kernel-5.4.254_1 proxier.go_389_ can_t set sysctl net_ipv4_vs_conn_reuse_mode_ ker-CSDN]

###### 2.6、验证master节点是否能ping通NodePort方式Service的IP ######

![b56e0210ad8745c6988c1789b02afdeb.png][]

成功解决！

*  访问Servie

###### 2.7、使用节点IP外网访问Service ######

[k8s calico master_node_pod-CSDN]: https://shuizhu.blog.csdn.net/article/details/134435472
[3e47b4be1369424ca10d47771a2526f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/19b0ac7f077648dd8d2c50c9e690a2db.png
[a1918557ffc440c2a6aa35c33d9b90e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/35b33252ee6644e09bc69dcd40fea4c6.png
[33a2a19b19274d5f9f11854f04df6ba1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/71b4206c02a749f5bf7b3bd78658fa0c.png
[5a8e6b788eab40358c7caa40c230e5b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/330e8e4a10e4497381bf5082d447e50e.png
[b1869c40a5a44dd7b1c657b3018bb2d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b04c81bc67ad4a13ba474eab2122989e.png
[6ef0ec4c7c334eff8adc608a2297fa36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/0015e08cd86243b1a48ddb28d9c73d7e.png
[CentOS 7.9_kernel-5.4.254_1 proxier.go_389_ can_t set sysctl net_ipv4_vs_conn_reuse_mode_ ker-CSDN]: https://shuizhu.blog.csdn.net/article/details/134526244
[b56e0210ad8745c6988c1789b02afdeb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/94d9afb5ffff44949514d8944f5afbe5.png