附012.Kubeadm部署高可用Kubernetes

桃扇骨 2023-01-02 12:20 237阅读 0赞

## 一 kubeadm介绍 ##

### 1.1 概述 ###

参考《附003.Kubeadm部署Kubernetes》。

### 1.2 kubeadm功能 ###

参考《附003.Kubeadm部署Kubernetes》。

## 二 部署规划 ##

### 2.1 节点规划 ###

**节点主机名**

**IP**

**类型**

**运行服务**

k8smaster01

172.24.8.71

Kubernetes master节点

docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、heapster、calico

k8smaster02

172.24.8.72

Kubernetes master节点

docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、

kubelet、heapster、calico

k8smaster03

172.24.8.73

Kubernetes master节点

docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、

kubelet、heapster、calico

k8snode01

172.24.8.74

Kubernetes node节点1

docker、kubelet、proxy、calico

k8snode02

172.24.8.75

Kubernetes node节点2

docker、kubelet、proxy、calico

k8snode03

172.24.8.76

Kubernetes node节点3

docker、kubelet、proxy、calico

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master节点组件和Etcd组件，工作节点通过负载均衡连接到各Master。HA有通常有如下两种架构：

高可用架构一：etcd与Master节点组件混布在一起。

[![clipboard][]][clipboard 1]

高可用架构二：使用独立的Etcd集群，不与Master节点混布。

[![clipboard][clipboard 2]][clipboard_clipboard 2]

释义：

两种方式的相同之处在于都提供了控制平面的冗余，实现了集群高可以用，区别在于：

Etcd混布方式

所需机器资源少  部署简单，利于管理  容易进行横向扩展  风险大，一台宿主机挂了，master和etcd就都少了一套，集群冗余度受到的影响比较大。

Etcd独立部署方式：

所需机器资源多（按照Etcd集群的奇数原则，这种拓扑的集群关控制平面最少需要6台宿主机了）  部署相对复杂，要独立管理etcd集群和和master集群  解耦了控制平面和Etcd，集群风险小健壮性强，单独挂了一台master或etcd对集群的影响很小

**提示：本实验使用高可用架构一实现Kubernetes的高可用。**

### 2.2 初始准备 ###

1 [root@k8smaster01 ~]# vi k8sinit.sh
      2 # Modify Author: xhy
      3 # Modify Date: 2019-06-23 22:19
      4 # Version:
      5 #***************************************************************#
      6 # Initialize the machine. This needs to be executed on every machine.
      7 
      8 # Add host domain name.
      9 cat >> /etc/hosts << EOF
     10 172.24.8.71 k8smaster01
     11 172.24.8.72 k8smaster02
     12 172.24.8.73 k8smaster03
     13 172.24.8.74 k8snode01
     14 172.24.8.75 k8snode02
     15 172.24.8.76 k8snode03
     16 EOF
     17 
     18 # Add docker user
     19 useradd -m docker
     20 
     21 # Disable the SELinux.
     22 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
     23 
     24 # Turn off and disable the firewalld.
     25 systemctl stop firewalld
     26 systemctl disable firewalld
     27 
     28 # Modify related kernel parameters & Disable the swap.
     29 cat > /etc/sysctl.d/k8s.conf << EOF
     30 net.ipv4.ip_forward = 1
     31 net.bridge.bridge-nf-call-ip6tables = 1
     32 net.bridge.bridge-nf-call-iptables = 1
     33 net.ipv4.tcp_tw_recycle = 0
     34 vm.swappiness = 0
     35 vm.overcommit_memory = 1
     36 vm.panic_on_oom = 0
     37 net.ipv6.conf.all.disable_ipv6 = 1
     38 EOF
     39 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
     40 swapoff -a
     41 sed -i '/ swap / s/^$.*$$/#\1/g' /etc/fstab
     42 modprobe br_netfilter
     43 
     44 # Add ipvs modules
     45 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
     46 #!/bin/bash
     47 modprobe -- ip_vs
     48 modprobe -- ip_vs_rr
     49 modprobe -- ip_vs_wrr
     50 modprobe -- ip_vs_sh
     51 modprobe -- nf_conntrack_ipv4
     52 EOF
     53 chmod 755 /etc/sysconfig/modules/ipvs.modules
     54 bash /etc/sysconfig/modules/ipvs.modules
     55 
     56 # Install rpm
     57 yum install -y conntrack git ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget gcc gcc-c++ make openssl-devel
     58 
     59 # Install Docker Compose
     60 sudo curl -L "https://github.com/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
     61 sudo chmod +x /usr/local/bin/docker-compose
     62 
     63 # Update kernel
     64 rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
     65 rpm -Uvh https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
     66 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml-5.4.1-1.el7.elrepo
     67 sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etc/default/grub
     68 grub2-mkconfig -o /boot/grub2/grub.cfg
     69 yum update -y
     70 
     71 # Reboot the machine.
     72 reboot

**提示：对于某些特性，可能需要升级内核，因此如上脚本将内核升级至5.4。**

### 2.3 互信配置 ###

为了更方便远程分发文件和执行命令，本实验配置master节点到其它节点的 ssh 信任关系。

1 [root@k8smaster01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
      2 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster01
      3 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster02
      4 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster03
      5 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode01
      6 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode02
      7 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode03

**提示：此操作仅需要在master节点操作。**

## 三 集群部署 ##

### 3.1 Docker安装 ###

1 [root@k8smaster01 ~]# yum -y update
      2 [root@k8smaster01 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2
      3 [root@k8smaster01 ~]# yum-config-manager \
      4 --add-repo \
      5 http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
      6 [root@k8smaster01 ~]# yum list docker-ce --showduplicates | sort -r		#查看可用版本
      7 [root@k8smaster01 ~]# yum -y install docker-ce-18.09.9-3.el7.x86_64		#kubeadm当前不支持18.09以上版本
      8 [root@k8smaster01 ~]# mkdir /etc/docker
      9 [root@k8smaster01 ~]# cat > /etc/docker/daemon.json <<EOF
     10 {
     11   "registry-mirrors": ["https://dbzucv6w.mirror.aliyuncs.com"],
     12   "exec-opts": ["native.cgroupdriver=systemd"],
     13   "log-driver": "json-file",
     14   "log-opts": {
     15     "max-size": "100m"
     16   },
     17   "storage-driver": "overlay2",
     18   "storage-opts": [
     19     "overlay2.override_kernel_check=true"
     20   ]
     21 }
     22 EOF								#配置system管理cgroup

1 [root@k8smaster01 ~]# systemctl restart docker
      2 [root@k8smaster01 ~]# systemctl enable docker
      3 [root@k8smaster01 ~]# iptables -nvL		#确认iptables filter表中FOWARD链的默认策略(pllicy)为ACCEPT

### 3.2 相关组件包 ###

需要在每台机器上都安装以下的软件包：

kubeadm: 用来初始化集群的指令；

kubelet: 在集群中的每个节点上用来启动 pod 和 container 等；

kubectl: 用来与集群通信的命令行工具。

kubeadm不能安装或管理 kubelet 或 kubectl ，所以得保证他们满足通过 kubeadm 安装的 Kubernetes 控制层对版本的要求。如果版本没有满足要求，可能导致一些意外错误或问题。

具体相关组件安装见《附001.kubectl介绍及使用》。

**提示：所有Master+Worker节点均需要如上操作。**

**Kubernetes 1.15版本所有兼容相应组件的版本参考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md。**

### 3.3 正式安装 ###

1 [root@k8smaster01 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
      2 [kubernetes]
      3 name=Kubernetes
      4 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
      5 enabled=1
      6 gpgcheck=1
      7 repo_gpgcheck=1
      8 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
      9 EOF
     10 #配置yum源

1 [root@k8smaster01 ~]# yum search kubelet --showduplicates		#查看相应版本
      2 [root@k8smaster01 ~]# yum install -y kubeadm-1.15.6-0.x86_64 kubelet-1.15.6-0.x86_64 kubectl-1.15.6-0.x86_64 --disableexcludes=kubernetes

**说明：同时安装了cri-tools, kubernetes-cni, socat三个依赖：**

**socat：kubelet的依赖；**

**cri-tools：即CRI(Container Runtime Interface)容器运行时接口的命令行工具。**

1 [root@k8smaster01 ~]# systemctl enable kubelet

**提示：所有Master+Worker节点均需要如上操作。此时不需要启动kubelet，初始化的过程中会自动启动的，如果此时启动了会出现报错，忽略即可。**

## 三 部署高可用组件I ##

### 3.1 Keepalived安装 ###

1 [root@k8smaster01 ~]# wget https://www.keepalived.org/software/keepalived-2.0.19.tar.gz
      2 [root@k8smaster01 ~]# tar -zxvf keepalived-2.0.19.tar.gz
      3 [root@k8smaster01 ~]# cd keepalived-2.0.19/
      4 [root@k8smaster01 ~]# ./configure --sysconf=/etc --prefix=/usr/local/keepalived
      5 [root@k8smaster01 keepalived-2.0.19]# make && make install
      6 [root@k8smaster01 ~]# systemctl enable keepalived && systemctl start keepalived

**提示：所有Master节点均需要如上操作。**

### 3.2 创建配置文件 ###

1 [root@k8smaster01 ~]# git clone https://github.com/cookeem/kubeadm-ha	#拉取github的高可用自动配置脚本
      2 [root@k8smaster01 ~]# vi /root/kubeadm-ha/kubeadm-config.yaml
      3 apiVersion: kubeadm.k8s.io/v1beta1
      4 kind: ClusterConfiguration
      5 kubernetesVersion: v1.15.6						#配置安装的版本
      6 ……
      7 podSubnet: "10.10.0.0/16"						#指定pod网段及掩码
      8 ……

[![clipboard][clipboard 3]][clipboard_clipboard 3]

**提示：若需要修改为国内Kubernetes初始化镜像源，可通过在kubeadm-config.yaml中追加如下参数，若参考4.1步骤提前下载：**

**imageRepository: registry.cn-hangzhou.aliyuncs.com/google\_container**

1 [root@k8smaster01 ~]# cd kubeadm-ha/
      2 [root@k8smaster01 kubeadm-ha]# vi create-config.sh
      3 # master keepalived virtual ip address
      4 export K8SHA_VIP=172.24.8.100
      5 # master01 ip address
      6 export K8SHA_IP1=172.24.8.71
      7 # master02 ip address
      8 export K8SHA_IP2=172.24.8.72
      9 # master03 ip address
     10 export K8SHA_IP3=172.24.8.73
     11 # master keepalived virtual ip hostname
     12 export K8SHA_VHOST=k8smaster01
     13 # master01 hostname
     14 export K8SHA_HOST1=k8smaster01
     15 # master02 hostname
     16 export K8SHA_HOST2=k8smaster02
     17 # master03 hostname
     18 export K8SHA_HOST3=k8smaster03
     19 # master01 network interface name
     20 export K8SHA_NETINF1=eth0
     21 # master02 network interface name
     22 export K8SHA_NETINF2=eth0
     23 # master03 network interface name
     24 export K8SHA_NETINF3=eth0
     25 # keepalived auth_pass config
     26 export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d
     27 # calico reachable ip address
     28 export K8SHA_CALICO_REACHABLE_IP=172.24.8.2
     29 # kubernetes CIDR pod subnet
     30 export K8SHA_CIDR=10.10.0.0
     31 
     32 [root@k8smaster01 kubeadm-ha]# ./create-config.sh

**解释：所有Master节点均需要如上操作。执行脚本后会生产如下配置文件清单：**

**执行create-config.sh脚本后，会自动生成以下配置文件：**

**kubeadm-config.yaml：kubeadm初始化配置文件，位于kubeadm-ha代码的./根目录**  **keepalived：keepalived配置文件，位于各个master节点的/etc/keepalived目录**  **nginx-lb：nginx-lb负载均衡配置文件，位于各个master节点的/root/nginx-lb目录**  **calico.yaml：calico网络组件部署文件，位于kubeadm-ha代码的./calico目录**

### 3.3 启动Keepalived ###

1 [root@k8smaster01 ~]# cat /etc/keepalived/keepalived.conf
      2 [root@k8smaster01 ~]# cat /etc/keepalived/check_apiserver.sh

[![clipboard][clipboard 4]][clipboard_clipboard 4]

1 [root@k8smaster01 ~]# systemctl restart keepalived.service
      2 [root@k8smaster01 ~]# systemctl status keepalived.service
      3 [root@k8smaster01 ~]# ping 172.24.8.100
      4

**提示：所有Master节点均需要如上操作。**

### 3.4 启动Nginx ###

执行create-config.sh脚本后，nginx-lb的配置文件会自动复制到各个master的节点的/root/nginx-lb目录

1 [root@k8smaster01 ~]# cd /root/nginx-lb/

[![clipboard][clipboard 5]][clipboard_clipboard 5]

1 [root@k8smaster01 nginx-lb]# docker-compose up -d	        #使用docker-compose方式启动nginx-lb
      2 [root@k8smaster01 ~]# docker-compose ps			#检查nginx-lb启动状态

**提示：所有Master节点均需要如上操作。**

## 四 初始化集群-Mater ##

### 4.1 Master上初始化 ###

1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images list	#列出所需镜像
      2 k8s.gcr.io/kube-apiserver:v1.15.6
      3 k8s.gcr.io/kube-controller-manager:v1.15.6
      4 k8s.gcr.io/kube-scheduler:v1.15.6
      5 k8s.gcr.io/kube-proxy:v1.15.6
      6 k8s.gcr.io/pause:3.1
      7 k8s.gcr.io/etcd:3.3.10
      8 k8s.gcr.io/coredns:1.3.1

1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images pull	#拉取kubernetes所需镜像

**注意：**

**由于国内Kubernetes镜像可能无法pull，建议通过VPN等方式提前pull镜像，然后上传至所有master节点。**

1 [root@VPN ~]# docker pull k8s.gcr.io/kube-apiserver:v1.15.6
      2 [root@VPN ~]# docker pull k8s.gcr.io/kube-controller-manager:v1.15.6
      3 [root@VPN ~]# docker pull k8s.gcr.io/kube-scheduler:v1.15.6
      4 [root@VPN ~]# docker pull k8s.gcr.io/kube-proxy:v1.15.6
      5 [root@VPN ~]# docker pull k8s.gcr.io/pause:3.1
      6 [root@VPN ~]# docker pull k8s.gcr.io/etcd:3.3.10
      7 [root@VPN ~]# docker pull k8s.gcr.io/coredns:1.3.1
      8 [root@k8smaster01 ~]# docker load -i kube-apiserver.tar
      9 [root@k8smaster01 ~]# docker load -i kube-controller-manager.tar
     10 [root@k8smaster01 ~]# docker load -i kube-scheduler.tar
     11 [root@k8smaster01 ~]# docker load -i kube-proxy.tar
     12 [root@k8smaster01 ~]# docker load -i pause.tar
     13 [root@k8smaster01 ~]# docker load -i etcd.tar
     14 [root@k8smaster01 ~]# docker load -i coredns.tar

1 [root@k8smaster01 ~]# kubeadm init --config=/root/kubeadm-ha/kubeadm-config.yaml --upload-certs

保留如下命令用于后续节点添加：

1 You can now join any number of the control-plane node running the following command on each as root:
      2 
      3   kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
      4     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
      5     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471
      6 
      7 Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
      8 As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
      9 "kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
     10 
     11 Then you can join any number of worker nodes by running the following on each as root:
     12 
     13 kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
     14     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

**注意：如上token具有默认24小时的有效期，token和hash值可通过如下方式获取：**

kubeadm token list

如果 Token 过期以后，可以输入以下命令，生成新的 Token

1 kubeadm token create
      2 openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
      3

1 [root@k8smaster01 ~]# mkdir -p $HOME/.kube
      2 [root@k8smaster01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
      3 [root@k8smaster01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf

**提示：默认使用k8s.gcr.io拉取镜像，国内用户可通过以下命令使用阿里源：**

1 [root@k8smaster01 ~]# cat << EOF >> ~/.bashrc
      2 export KUBECONFIG=$HOME/.kube/admin.conf
      3 EOF							#设置KUBECONFIG环境变量
      4 [root@k8smaster01 ~]# source ~/.bashrc

附加：初始化过程大致步骤如下：

\[kubelet-start\] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”  \[certificates\]生成相关的各种证书  \[kubeconfig\]生成相关的kubeconfig文件  \[bootstraptoken\]生成token记录下来，后边使用kubeadm join往集群中添加节点时会用到

**提示：初始化仅需要在master01上执行，若初始化异常可通过\[root@master ~\]\# kubeadm reset && rm -rf $HOME/.kube重置。**

### 4.2 添加其他master节点 ###

1 [root@k8smaster02 ~]# kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
      2     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
      3     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471

[![clipboard][clipboard 6]][clipboard_clipboard 6]

1 [root@k8smaster02 ~]# mkdir -p $HOME/.kube
      2 [root@k8smaster02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
      3 [root@k8smaster02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf
      4 [root@k8smaster02 ~]# cat << EOF >> ~/.bashrc
      5 export KUBECONFIG=$HOME/.kube/admin.conf
      6 EOF
      7 [root@k8smaster02 ~]# source ~/.bashrc

**提示：master03也如上执行添加至集群的controlplane。**

## 五 安装NIC插件 ##

### 5.1 NIC插件介绍 ###

Calico 是一个安全的 L3 网络和网络策略提供者。

Canal 结合 Flannel 和 Calico， 提供网络和网络策略。

Cilium 是一个 L3 网络和网络策略插件， 能够透明的实施 HTTP/API/L7 策略。 同时支持路由（routing）和叠加/封装（ overlay/encapsulation）模式。

Contiv 为多种用例提供可配置网络（使用 BGP 的原生 L3，使用 vxlan 的 overlay，经典 L2 和 Cisco-SDN/ACI）和丰富的策略框架。Contiv 项目完全开源。安装工具同时提供基于和不基于 kubeadm 的安装选项。

Flannel 是一个可以用于 Kubernetes 的 overlay 网络提供者。

Romana 是一个 pod 网络的层 3 解决方案，并且支持 NetworkPolicy API。Kubeadm add-on 安装细节可以在这里找到。

Weave Net 提供了在网络分组两端参与工作的网络和网络策略，并且不需要额外的数据库。

CNI-Genie 使 Kubernetes 无缝连接到一种 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。

**提示：本实验使用Calico插件。**

### 5.2 部署calico ###

1 [root@k8smaster01 ~]# docker pull calico/cni:v3.6.0
      2 [root@k8smaster01 ~]# docker pull calico/node:v3.6.0
      3 [root@k8smaster01 ~]# docker pull calico/kube-controllers:v3.6.0	#建议提前pull镜像
      4 [root@k8smaster01 ~]# kubectl apply -f kubeadm-ha/calico/calico.yaml

[![clipboard][clipboard 7]][clipboard_clipboard 7]

1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#查看部署

1 [root@k8smaster01 ~]# kubectl get nodes
      2 NAME          STATUS   ROLES    AGE    VERSION
      3 k8smaster01   Ready    master   174m   v1.15.6
      4 k8smaster02   Ready    master   168m   v1.15.6
      5 k8smaster03   Ready    master   168m   v1.15.6

## 六 部署高可用组件II ##

### 6.1 高可用说明 ###

高可用kubernetes集群步骤三已完成配置，但是使用docker-compose方式启动nginx-lb由于无法提供kubernetes集群的健康检查和自动重启功能，nginx-lb作为高可用kubernetes集群的核心组件建议也作为kubernetes集群中的一个pod来进行管理。

在/etc/kubernetes/manifests/目录下，是kubelet直接管理的核心部署文件。现在我们停止原先使用docker-compose启动的nginx-lb，由kubelet直接管理nginx-lb服务。

1 [root@k8smaster01 ~]# systemctl stop kubelet
      2 [root@k8smaster01 ~]# docker stop nginx-lb && docker rm nginx-lb

**提示：所有Master节点均需要如上操作。**

1 [root@k8smaster01 ~]# export K8SHA_HOST1=k8smaster01
      2 [root@k8smaster01 ~]# export K8SHA_HOST2=k8smaster02
      3 [root@k8smaster01 ~]# export K8SHA_HOST3=k8smaster03
      4 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST1}:/etc/kubernetes/
      5 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST2}:/etc/kubernetes/
      6 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST3}:/etc/kubernetes/
      7 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST1}:/etc/kubernetes/manifests/
      8 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST2}:/etc/kubernetes/manifests/
      9 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST3}:/etc/kubernetes/manifests/

**提示：如上操作仅需Master01上执行。**

1 [root@k8smaster01 ~]# systemctl restart kubelet docker			#所有master节点重启相关服务

**提示：所有Master节点均需要如上操作。**

1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#再次验证

## 七 添加Worker节点 ##

### 7.1 下载镜像 ###

为避免node节点无法pull相关镜像，建议体现pull。

1 [root@k8snode01 ~]# docker load -i pause.tar

**提示：所有node节点均需要如上操作。**

### 7.2 添加Node节点 ###

1 [root@k8snode01 ~]# systemctl enable kubelet.service
      2 [root@k8snode01 ~]# skubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
      3     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

**提示：若添加异常可通过如下方式重置：**

1 [root@node01 ~]# kubeadm reset
      2 [root@node01 ~]# ifconfig cni0 down
      3 [root@node01 ~]# ip link delete cni0
      4 [root@node01 ~]# ifconfig flannel.1 down
      5 [root@node01 ~]# ip link delete flannel.1
      6 [root@node01 ~]# rm -rf /var/lib/cni/

### 7.3 确认验证 ###

1 [root@k8smaster01 ~]# kubectl get nodes						#节点状态
      2 [root@k8smaster01 ~]# kubectl get cs						#组件状态
      3 [root@k8smaster01 ~]# kubectl get serviceaccount					#服务账户
      4 [root@k8smaster01 ~]# kubectl cluster-info						#集群信息
      5 [root@k8smaster01 ~]# kubectl get pod -n kube-system -o wide			#所有服务状态

**提示：更多Kubetcl使用参考：https://kubernetes.io/docs/reference/kubectl/kubectl/**

**https://kubernetes.io/docs/reference/kubectl/overview/**

**更多kubeadm使用参考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/**

## 八 开启IPVS ##

### 8.1 修改ConfigMap ###

1 [root@k8smaster01 ~]# kubectl edit cm kube-proxy -n kube-system		#模式改为ipvs
      2 ……
      3 mode: "ipvs"
      4 ……
      5 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
      6 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy	#查看proxy的pod
      7 [root@k8smaster01 ~]# kubectl logs kube-proxy-2c8tj -n kube-system		#查看任意一个proxy pod的日志

## 九 测试集群 ##

### 9.1 创建测试service ###

1 [root@k8smaster01 ~]# kubectl run nginx --replicas=2 --labels="run=load-balancer-example" --image=nginx --port=80
      2 [root@k8smaster01 ~]# kubectl expose deployment nginx --type=NodePort --name=example-service  #暴露端口
      3 [root@k8smaster01 ~]# kubectl get service							  #查看服务状态
      4 [root@k8smaster01 ~]# kubectl describe service example-service				  #查看信息

[![clipboard][clipboard 8]][clipboard_clipboard 8]

### 9.2 测试访问 ###

1 [root@k8smaster01 ~]# curl 10.97.91.153:80

[![clipboard][clipboard 9]][clipboard_clipboard 9]

1 [root@k8smaster01 ~]# kubectl get pod -o wide		#查看endpoint

1 [root@k8smaster01 ~]# curl 10.10.32.129:80		#访问endpoint，与访问服务ip结果相同
      2 [root@k8smaster01 ~]# curl 10.10.154.1:80

## 十 部署dashboard ##

### 10.1 设置标签 ###

1 [root@k8smaster01 ~]# kubectl label nodes k8smaster01 app=kube-system
      2 [root@k8smaster01 ~]# kubectl label nodes k8smaster02 app=kube-system
      3 [root@k8smaster01 ~]# kubectl label nodes k8smaster03 app=kube-system

### 10.2 创建证书 ###

由于自动生成的证书可能过期，建议手动生成证书，而取消yaml中自动创建secret的部分。

1 [root@k8smaster01 ~]# cd /etc/kubernetes/pki/
      2 [root@k8smaster01 pki]# openssl genrsa -out dashboard.key 2048
      3 [root@k8smaster01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/CN=dashboard"
      4 [root@k8smaster01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 365
      5 [root@k8smaster01 pki]# openssl x509  -noout -text -in ./dashboard.crt		#查看证书
      6

### 10.3 分发证书 ###

1 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster02:/etc/kubernetes/pki/
      2 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster03:/etc/kubernetes/pki/
      3

### 10.4 手动创建secret ###

1 [root@k8smaster01 ~]# ll /etc/kubernetes/pki/dashboard.*
      2 -rw-r--r-- 1 root root 1.2K Dec  3 03:10 /etc/kubernetes/pki/dashboard.crt
      3 -rw-r--r-- 1 root root  976 Dec  3 03:10 /etc/kubernetes/pki/dashboard.csr
      4 -rw-r--r-- 1 root root 1.7K Dec  3 03:09 /etc/kubernetes/pki/dashboard.key
      5 [root@k8smaster01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pki/dashboard.crt,/etc/kubernetes/pki/dashboard.key" -n kube-system	#挂载新证书到dashboard
      6 [root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kube-system -o yaml	#查看新证书

### 10.5 部署dashboard ###

1 [root@master01 ~]# vim /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml 		#如下部分删除
      2 # ------------------- Dashboard Secret ------------------- #
      3 
      4 apiVersion: v1
      5 kind: Secret
      6 metadata:
      7   labels:
      8     k8s-app: kubernetes-dashboard
      9   name: kubernetes-dashboard-certs
     10   namespace: kube-system
     11 type: Opaque

1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml
      2 [root@k8smaster01 ~]# kubectl get deployment kubernetes-dashboard -n kube-system
      3 NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
      4 kubernetes-dashboard   1/1     1            1           10s
      5 [root@k8smaster01 ~]# kubectl get pods -o wide --namespace kube-system
      6 [root@k8smaster01 ~]# kubectl get services kubernetes-dashboard -n kube-system

**提示：k8smaster01 NodePort 30000/TCP映射到 dashboard pod 443 端口。**

### 10.6 查看dashboard参数 ###

1 [root@k8smaster01 ~]# kubectl exec --namespace kube-system -it kubernetes-dashboard-66cb8889-gjpnd -- /dashboard --help

**提示：dashboard 的 --authentication-mode 支持 token、basic，默认为 token。如果使用 basic，则 kube-apiserver 必须配置 --authorization-mode=ABAC 和 --basic-auth-file 参数。**

## 十一 访问dashboard ##

### 11.1 导入证书 ###

将dashboard.crt导入IE浏览器，并设置为信任，导入操作略。

### 11.2 创建kubeconfig文件 ###

使用token相对复杂，可将token添加至kubeconfig文件中，使用KubeConfig 文件访问dashboard。

1 [root@k8smaster01 ~]# ADMIN_SECRET=$(kubectl get secrets -n kube-system | grep admin-user-token- | awk '{
       print $1}')
      2 [root@k8smaster01 ~]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kube-system ${ADMIN_SECRET} | grep -E '^token' | awk '{
       print $2}')
      3 [root@k8smaster01 ~]# kubectl config set-cluster kubernetes \
      4   --certificate-authority=/etc/kubernetes/pki/ca.crt \
      5   --embed-certs=true \
      6   --server=172.24.8.100:16443 \
      7   --kubeconfig=dashboard.kubeconfig		        # 设置集群参数
      8 [root@k8smaster01 ~]# kubectl config set-credentials dashboard_user \
      9   --token=${DASHBOARD_LOGIN_TOKEN} \
     10   --kubeconfig=dashboard_admin.kubeconfig		# 设置客户端认证参数，使用上面创建的 Token
     11 [root@k8smaster01 ~]# kubectl config set-context default \
     12   --cluster=kubernetes \
     13   --user=dashboard_user \
     14   --kubeconfig=dashboard_admin.kubeconfig		# 设置上下文参数
     15 [root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig  # 设置默认上下文

\#将dashboard.kubeconfig文件导入，以便于浏览器使用该文件登录。

### 11.3 测试访问dashboard ###

本实验采用nodeip:nodepord方式访问。

浏览器访问：https://172.24.8.71:30000

使用dashboard\_admin.kubeconfig文件访问：

**提示：**

**更多dashboard访问方式及认证可参考《附004.Kubernetes Dashboard简介及使用》。**

**dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.htm**

**提示：由于缺少 Heapster 插件，当前 dashboard 不能展示 Pod、Nodes 的 CPU、内存等统计数据和图表。**

## 十二 部署heapster ##

12.1 pull镜像

建议提前pull部署heapster所需镜像。

1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
      2 [root@VPN ~]# docker run -ti --rm --entrypoint "/bin/sh" k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
      3 / # sed -i "s/localhost/127.0.0.1/g" /etc/config.toml	#容器内修改config
      4 [root@VPN ~]# docker ps				        #另开一个终端
      5 CONTAINER ID        IMAGE                                       COMMAND             CREATED             STATUS              PORTS               NAMES
      6 30b29cf20782        k8s.gcr.io/heapster-influxdb-amd64:v1.5.2   "/bin/sh"           5 minutes ago       Up 5 minutes                            elastic_brahmagupta
      7 [root@VPN ~]# docker commit elastic_brahmagupta k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed  #提交修改后的容器为镜像
      8 [root@VPN ~]# docker save -o heapster-influxdb-fixed.tar k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed

1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-amd64:v1.5.4
      2 [root@VPN ~]# docker save -o heapster.tar k8s.gcr.io/heapster-amd64:v1.5.4

1 [root@k8smaster01 ~]# docker load -i heapster.tar
      2 [root@k8smaster01 ~]# docker load -i heapster-influxdb-fixed.tar

**提示：所有Master节点都需要load如上镜像。**

### 12.2 部署heapster ###

1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/heapster/

### 12.3 确认验证 ###

1 [root@k8smaster01 ~]# kubectl top pods -n kube-system

[![clipboard][clipboard 10]][clipboard_clipboard 10]

再次浏览器访问：https://172.24.8.71:30000/

参考链接：  
https://www.kubernetes.org.cn/4956.html

[https://github.com/cookeem/kubeadm-ha][https_github.com_cookeem_kubeadm-ha]

[clipboard]: /images/20221119/3a387abd7d1a4a668cb6286b3a570555.png
[clipboard 1]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150140975-844728961.png
[clipboard 2]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150142237-1226882286.png
[clipboard_clipboard 2]: /images/20221119/2b6bcda579774734bb906939d65e4f6b.png
[clipboard 3]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150145028-984820670.png
[clipboard_clipboard 3]: /images/20221119/9ca0e6da993040fd852d3109aec4ca22.png
[clipboard 4]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150145467-1477106662.png
[clipboard_clipboard 4]: /images/20221119/9ceddb08e63b4722b024395ec3c03873.png
[clipboard 5]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150145777-1830282060.png
[clipboard_clipboard 5]: /images/20221119/8c0027560b1845abba85c759a6ef9b9e.png
[clipboard 6]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150146786-1838986670.png
[clipboard_clipboard 6]: /images/20221119/6dbe37024fb44ef2b30fe06bb6100d66.png
[clipboard 7]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150147119-833854673.png
[clipboard_clipboard 7]: /images/20221119/31f40eb20eed4394b22ac805a92c74b3.png
[clipboard 8]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150151881-1971388033.png
[clipboard_clipboard 8]: /images/20221119/65efa026c3d54def97c593f89ff3a8ef.png
[clipboard 9]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150152191-1479629942.png
[clipboard_clipboard 9]: /images/20221119/03da380061e644418d1e4d164e4bfd5c.png
[clipboard 10]: https://img2018.cnblogs.com/blog/680719/201912/680719-20191204150156062-1869275044.png
[clipboard_clipboard 10]: /images/20221119/9367fbaf6a8d43abb75001ea020691ea.png
[https_github.com_cookeem_kubeadm-ha]: https://github.com/cookeem/kubeadm-ha