CentOS7安装Kubernetes1.18.1并使用flannel

墨蓝 2023-07-25 12:43 5阅读 0赞

# 一、概述 #

![format_png][]

手工搭建 Kubernetes 集群是一件很繁琐的事情，为了简化这些操作，就产生了很多安装配置工具，如 Kubeadm ，Kubespray，RKE 等组件，我最终选择了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差异，Kubeadm 更新与支持的会好一些。Kubeadm 是 Kubernetes 官方提供的快速安装和初始化 Kubernetes 集群的工具，目前的还处于孵化开发状态，跟随 Kubernetes 每个新版本的发布都会同步更新, 强烈建议先看下官方的文档了解下各个组件与对象的作用。

[https://kubernetes.io/docs/concepts/][https_kubernetes.io_docs_concepts]  
[https://kubernetes.io/docs/setup/independent/install-kubeadm/][https_kubernetes.io_docs_setup_independent_install-kubeadm]  
[https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/][https_kubernetes.io_docs_reference_setup-tools_kubeadm_kubeadm]

在创建Kubernetes集群时，阿里云容器服务提供两种网络插件：Terway和Flannel。

![format_png 1][]

Flannel：使用的是简单稳定的社区的Flannel CNI 插件，配合阿里云的VPC的高速网络，能给集群高性能和稳定的容器网络体验，但功能偏简单，支持的特性少，例如：不支持基于Kubernetes标准的Network Policy。  
Terway：是阿里云容器服务自研的网络插件，将阿里云的弹性网卡分配给容器，支持基于Kubernetes标准的NetworkPolicy来定义容器间的访问策略，支持对单个容器做带宽的限流。对于不需要使用Network Policy的用户，可以选择Flannel，其他情况建议选择Terway。

因此，本文主要介绍flannel的简单使用。

## 系统环境 ##

<table> 
 <thead> 
  <tr> 
   <th>系统</th> 
   <th>内核</th> 
   <th>docker</th> 
   <th>ip</th> 
   <th>主机名</th> 
   <th>配置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>centos 7.6</td> 
   <td>3.10.0-957.el7.x86_64</td> 
   <td>19.03.5</td> 
   <td>192.168.128.130</td> 
   <td>k8s-master</td> 
   <td>2核4G</td> 
  </tr> 
  <tr> 
   <td>centos 7.6</td> 
   <td>3.10.0-957.el7.x86_64</td> 
   <td>19.03.5</td> 
   <td>192.168.128.131</td> 
   <td>k8s-node01</td> 
   <td>2核4G</td> 
  </tr> 
  <tr> 
   <td>centos 7.6</td> 
   <td>3.10.0-957.el7.x86_64</td> 
   <td>19.03.5</td> 
   <td>192.168.128.132</td> 
   <td>k8s-node02</td> 
   <td>2核4G</td> 
  </tr> 
 </tbody> 
</table>

** **

**注意：请确保CPU至少2核，内存2G**

# 二、准备工作 #

## 关闭防火墙 ##

如果各个主机启用了防火墙，需要开放Kubernetes各个组件所需要的端口，可以查看Installing kubeadm中的”Check required ports”一节。 这里简单起见在各节点禁用防火墙：

systemctl stop firewalld
    systemctl disable firewalld

## 禁用SELINUX ##

# 临时禁用
    setenforce 0
    # 永久禁用 
    vim /etc/selinux/config    # 或者修改/etc/sysconfig/selinux
    SELINUX=disabled

## 修改k8s.conf文件 ##

cat <<EOF >  /etc/sysctl.d/k8s.conf
    net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    EOF
    sysctl --system

## 关闭swap ##

# 临时关闭
    swapoff -a

修改 `/etc/fstab` 文件，注释掉 SWAP 的自动挂载（永久关闭swap，重启后生效）

# 注释掉以下字段
    /dev/mapper/cl-swap     swap                    swap    defaults        0 0

# 安装docker #

这里就不再叙述了，请参考链接：

[https://www.cnblogs.com/xiao987334176/p/11771657.html][https_www.cnblogs.com_xiao987334176_p_11771657.html]

# 修改主机名 #

hostnamectl set-hostname k8s-master

注意：主机名不能带下划线，只能带中划线  
否则安装k8s会报错

could not convert cfg to an internal cfg: nodeRegistration.name: Invalid value: "k8s_master": a DNS-1123 subdomain must consist of lower case alphanumeric characters, '-' or '.', and must start and end with an alphanumeric character (e.g. 'example.com', regex used for validation is '[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*')

# 三、安装kubeadm，kubelet，kubectl #

在各节点安装kubeadm，kubelet，kubectl

## 修改yum安装源 ##

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

## 安装软件 ##

目前最新版本是：1.18.1

yum install -y kubelet-1.18.1-0 kubeadm-1.18.1-0 kubectl-1.18.1-0
    systemctl enable kubelet && systemctl start kubelet

以上，就是master和node都需要操作的部分。

# 四、初始化Master节点 #

### 运行初始化命令 ###

kubeadm init --kubernetes-version=1.18.1 \
    --apiserver-advertise-address=192.168.128.130 \
    --image-repository registry.aliyuncs.com/google_containers \
    --service-cidr=10.1.0.0/16 \
    --pod-network-cidr=10.244.0.0/16

**注意修改apiserver-advertise-address为master节点ip**

参数解释：

–kubernetes-version: 用于指定k8s版本；
    –apiserver-advertise-address：用于指定kube-apiserver监听的ip地址,就是 master本机IP地址。
    –pod-network-cidr：用于指定Pod的网络范围； 10.244.0.0/16
    –service-cidr：用于指定SVC的网络范围；
    –image-repository: 指定阿里云镜像仓库地址

这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址

集群初始化成功后返回如下信息：  
记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行。  
输出如下：

...
    Your Kubernetes control-plane has initialized successfully!
    
    To start using your cluster, you need to run the following as a regular user:
    
      mkdir -p $HOME/.kube
      sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
      sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
    You should now deploy a pod network to the cluster.
    Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
      https://kubernetes.io/docs/concepts/cluster-administration/addons/
    
    Then you can join any number of worker nodes by running the following on each as root:
    
    kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
        --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143

注意保持好kubeadm join，后面会用到的。

## 配置kubectl工具 ##

mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config

## 安装flannel ##

mkdir k8s
    cd k8s
    wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果yml中的"Network": "10.244.0.0/16"和kubeadm init xxx \--pod-network-cidr不一样，就需要修改成一样的。不然可能会使得Node间Cluster IP不通。

由于我上面的kubeadm init xxx --pod-network-cidr就是10.244.0.0/16。所以此yaml文件就不需要更改了。

查看yaml需要的镜像

# cat kube-flannel.yml |grep image|uniq
            image: quay.io/coreos/flannel:v0.12.0-amd64
            image: quay.io/coreos/flannel:v0.12.0-arm64
            image: quay.io/coreos/flannel:v0.12.0-arm
            image: quay.io/coreos/flannel:v0.12.0-ppc64le
            image: quay.io/coreos/flannel:v0.12.0-s390x

注意：这些镜像都是需要访问谷歌才行的。

但是阿里云容器镜像服务ACR里面是有的，访问链接如下：

https://www.aliyun.com/product/acr

注意：必须使用阿里云账号登录才行。

点击管理控制台

![format_png 2][]

点击左侧的镜像搜索

![format_png 3][]

输入关键字：flannel:v0.12.0-amd64，选择第二个。

![format_png 4][]

点击复制公网地址

![format_png 5][]

由于我这里是上海区域，所以域名是：registry.cn-shanghai。如果你选的是其他区域，域名也会不一样。

下面就是我们需要的版本号。

![format_png 6][]

那么下载镜像的完整命令为：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64

其他镜像，也都在这里。

所以，所需要的镜像下载命令为：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
    docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64
    docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm
    docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le
    docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x

为镜像打tag，保持和yaml文件一样。

docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64
    docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 quay.io/coreos/flannel:v0.12.0-arm64
    docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm quay.io/coreos/flannel:v0.12.0-arm
    docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le quay.io/coreos/flannel:v0.12.0-ppc64le
    docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x quay.io/coreos/flannel:v0.12.0-s390x

**注意：这些镜像，也需要在node节点执行。**

加载flannel

kubectl apply -f kube-flannel.yml

## 查看Pod状态 ##

等待几分钟，确保所有的Pod都处于Running状态

# kubectl get pod --all-namespaces -o wide
    NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE    IP                NODE         NOMINATED NODE   READINESS GATES
    kube-system   coredns-7ff77c879f-8jpb7             0/1     Running   0          125m   10.244.0.3        k8s-master   <none>           <none>
    kube-system   coredns-7ff77c879f-9gcjr             1/1     Running   0          125m   10.244.0.2        k8s-master   <none>           <none>
    kube-system   etcd-k8s-master                      1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
    kube-system   kube-apiserver-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
    kube-system   kube-controller-manager-k8s-master   1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
    kube-system   kube-flannel-ds-amd64-gz8jd          1/1     Running   0          27s    192.168.128.130   k8s-master   <none>           <none>
    kube-system   kube-proxy-wh548                     1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
    kube-system   kube-scheduler-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>

注意：coredns容器的网段是10.244.0.0/16

设置开机启动

systemctl enable kubelet

## 命令补全 ##

**（仅master）**

yum install -y bash-completion
    
    source <(kubectl completion bash)
    echo "source <(kubectl completion bash)" >> ~/.bashrc
    source  ~/.bashrc

必须退出一次，再次登录，就可以了

# 五、node加入集群 #

## 准备工作 ##

**请查看上文中的准备工作，确保都执行了！！！**

修改主机名部分，改为k8s-node01

hostnamectl set-hostname k8s-node01

## 加入节点 ##

登录到node节点，确保已经安装了docker和kubeadm，kubelet，kubectl

kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
        --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143

设置开机启动

systemctl enable kubelet

## 查看节点 ##

登录到master，使用命令查看

# kubectl get nodes -o wide
    NAME         STATUS     ROLES    AGE    VERSION   INTERNAL-IP       EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
    k8s-master   Ready      master   128m   v1.18.1   192.168.128.130   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
    k8s-node01   Ready      <none>   30s    v1.18.1   192.168.128.131   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
    k8s-node02   NotReady   <none>   19s    v1.18.1   192.168.128.132   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8

登录到node节点，查看ip

# ifconfig 
    ...
    flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
            inet 10.244.1.0  netmask 255.255.255.255  broadcast 0.0.0.0
            inet6 fe80::80e7:9eff:fe5d:3d94  prefixlen 64  scopeid 0x20<link>
            ether 82:e7:9e:5d:3d:94  txqueuelen 0  (Ethernet)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 0  bytes 0 (0.0 B)
            TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0
    ...

它会创建一个flannel.1网卡，用来做flannel网络通信的。

# 七、使用yml发布应用 #

以flaskapp为例子

flaskapp-deployment.yaml

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: flaskapp-1
    spec:
      selector:
        matchLabels:
          run: flaskapp-1
      replicas: 1
      template:
        metadata:
          labels:
            run: flaskapp-1
        spec:
          containers:
          - name: flaskapp-1
            image: jcdemo/flaskapp
            ports:
            - containerPort: 5000

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

flaskapp-service.yaml

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: v1
    kind: Service
    metadata:
      name: flaskapp-1
      labels:
        run: flaskapp-1
    spec:
      type: NodePort
      ports:
      - port: 5000
        name: flaskapp-port
        targetPort: 5000
        protocol: TCP
        nodePort: 30005
      selector:
        run: flaskapp-1

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

加载yml文件

kubectl apply -f flaskapp-service.yaml 
    kubectl apply -f flaskapp-deployment.yaml

查看pod状态

# kubectl get pods -o wide
    NAME                          READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
    flaskapp-1-5d96dbf59b-94v6v   1/1     Running   0          33s   10.244.2.2   k8s-node02   <none>           <none>

等待几分钟，确保为Running状态

ping pod ip

# ping 10.244.2.2 -c 3
    PING 10.244.2.2 (10.244.2.2) 56(84) bytes of data.
    64 bytes from 10.244.2.2: icmp_seq=1 ttl=63 time=1.86 ms
    64 bytes from 10.244.2.2: icmp_seq=2 ttl=63 time=0.729 ms
    64 bytes from 10.244.2.2: icmp_seq=3 ttl=63 time=1.05 ms
    
    --- 10.244.2.2 ping statistics ---
    3 packets transmitted, 3 received, 0% packet loss, time 2001ms
    rtt min/avg/max/mdev = 0.729/1.215/1.862/0.477 ms

确保能正常ping通，表示flannel网络正常。

## 访问页面 ##

使用master ip+nodeport访问

http://192.168.128.130:30005/

效果如下：

![format_png 7][]

注意：使用node节点ip+nodeport也可以访问。

[format_png]: /images/20230528/857091fd31ce4c019ee8a43ba7445bf8.png
[https_kubernetes.io_docs_concepts]: https://kubernetes.io/docs/concepts/
[https_kubernetes.io_docs_setup_independent_install-kubeadm]: https://kubernetes.io/docs/setup/independent/install-kubeadm/
[https_kubernetes.io_docs_reference_setup-tools_kubeadm_kubeadm]: https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
[format_png 1]: /images/20230528/87f0df0c72bc43e7858568a77140553d.png
[https_www.cnblogs.com_xiao987334176_p_11771657.html]: https://www.cnblogs.com/xiao987334176/p/11771657.html
[aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]: /images/20230528/537dfc5e987c4ba0a42dd146ffcb13bd.png
[format_png 2]: /images/20230528/303b41ffb7e34a86b34e2d60b7693620.png
[format_png 3]: /images/20230528/b9144b5f6cb8416690fbec3e32e4eae3.png
[format_png 4]: /images/20230528/57fbb0172cc544bfaeaf400439ff3071.png
[format_png 5]: /images/20230528/c68a1830c9de4624a1b851cfa85d1094.png
[format_png 6]: /images/20230528/e240db45c99b4b3eba41804023e84030.png
[format_png 7]: /images/20230528/c33906a99bbc499084ebb687556b961d.png