kubernetes v1.12.0集群部署（二进制方式+基于CA签名双向数字证书认证方式）

今天药忘吃喽~ 2022-05-09 05:58 106阅读 0赞

kubernetes 最简单的方式是通过yum install kubernetes 直接安装，但是默认安装的是v5版本的kubernetes，所以不推荐使用，还有一种是在v1.4版本开始引入了的kubeadm工具一键部署，但是如果 没有访问gcr.io的网络环境的话部署过程会报错。所以我这边推荐使用二进制的方式部署

源码包下载地址：

[https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.12.md\#v1120][https_github.com_kubernetes_kubernetes_blob_master_CHANGELOG-1.12.md_v1120]

需要下载服务端:[kubernetes-server-linux-amd64.tar.gz][]

以及客户端:kubernetes-node-linux-amd64.tar.gz

1、两台CentOS7 主机:

10.1.31.205 docker1 Master

10.1.1.206 docker2 Node

初始化：

设置hosts地址解析 关闭selinuc 关闭防火墙firewalld

![70][]

Master上部署：

*  etcd
 *  kube-apiserver
 *  kube-controller-manager
 *  kube-scheduler

Node上部署：

*  Docker
 *  kubelet
 *  kube-proxy

1、etcd

etcd服务是Kubernetes集群的核心数据库，在安装各个服务之前需要先安装启动。这里演示的是部署etcd单节点，当然也可以配置3节点的集群。如果想配置更加简单，推荐直接使用yum方式安装。

\# wget https://github.com/coreos/etcd/releases/download/v3.2.20/etcd-v3.2.20-linux-amd64.tar.gz \# tar xf etcd-v3.2.20-linux-amd64.tar.gz \# cd etcd-v3.2.20-linux-amd64 \# cp etcd etcdctl /usr/bin/ \# mkdir /var/lib/etcd \# mkdir /etc/etcd

编辑systemd管理文件：

vim /usr/lib/systemd/system/etcd.service

\[Unit\] Description=Etcd Server After=network.target \[Service\] Type=simple WorkingDirectory=/var/lib/etcd/ EnvironmentFile=-/etc/etcd/etcd.conf ExecStart=/usr/bin/etcd \[Install\] WantedBy=multi-user.target

启动服务：

systemctl daemon-reload systemctl start etcd systemctl status etcd.service

查看服务状态：

![70 1][]

说明： etcd 会启用两个端口，其中2380 是集群的通信端口，2379是服务端口。如果是配置etcd集群，则要修改配置文件，设置监听IP和端口。

etcdctl cluster-health 验证etcd是否正常启动

![70 2][]

下载到master： kubernetes-server-linux-amd64.tar.gz 到/usr/local/

\#tar xf kubernetes-server-linux-amd64.tar.gz -c /usr/local

\#cd kubernetes/server/bin

\#cp \`ls|egrep -v "\*.tar|\*\_tag"\` /usr/bin/

将以下文件拷贝到/usr/bin下

![70 3][]

配置kube-apiserver：

1、编辑systemd的启动文件：

vim /usr/lib/systemd/system/kube-apiserver.service

\[Unit\] Description=Kubernetes API Server Documentation=https://kubernetes.io/docs/concepts/overview After=network.target After=etcd.service \[Service\] EnvironmentFile=/etc/kubernetes/apiserver ExecStart=/usr/bin/kube-apiserver $KUBE\_API\_ARGS Restart=on-failure Type=notify LimitNOFILE=65536 \[Install\] WantedBy=multi-user.target

2、配置参数文件(需要先创建配置目录）：

cat /etc/kubernetes/apiserver |grep -v ^$ | grep -v ^\#

KUBE\_API\_ARGS="--storage-backend=etcd3 \\

\--etcd-servers=http://127.0.0.1:2379 \\

\--bind-address=0.0.0.0 \\

\--secure-port=6443 \\

\--service-cluster-ip-range=10.222.0.0/16 \\

\--service-node-port-range=1-65535 \\

\--client-ca-file=/etc/kubernetes/ssl/ca.crt \\

\--tls-private-key-file=/etc/kubernetes/ssl/server.key \\

\--tls-cert-file=/etc/kubernetes/ssl/server.crt \\

\--enable-admission-plugins=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,DefaultStorageClass,ResourceQuota \\

\--logtostderr=false \\

\--log-dir=/var/log/kubernetes \\

\--v=2"

![70 4][]

*  service-cluster-ip-range是servcies的虚拟IP的IP范围，这里可以自己定义，不能当前的宿主机网段重叠。
 *  bind-addres 指定的apiserver监听地址，对应的监听端口是6443，使用的https的方式。
 *  client-ca-file 这是认证的相关文件，这预先定义，后面会创建证书文件，并放置到对应的路径。

3、创建日志目录和证书目录，如果没有配文件目录也需要创建：

mkdir /var/log/kubernetes

mkdir /etc/kubernetes

mkdir /etc/kubernetes/ssl

3、kube-controller-manager

1、配置systemd的启动文件：

cat /usr/lib/systemd/system/kube-controller-manager.service

\[Unit\]

Description=Kubernetes Controller Manager

Documentation=https//github.com/GoogleCloudPlatform/kubernetes

After=kube-apiserver.service

Requires=kube-apiserver.service

\[Service\]

EnvironmentFile=/etc/kubernetes/controller-manager

ExecStart=/usr/bin/kube-controller-manager $KUBE\_CONTROLLER\_MANAGER\_ARGS

Restart=on-failure

LimitNOFILE=65536

\[Install\]

WantedBy=multi-user.target

![70 5][]

2、配置启动参数文件：

cat /etc/kubernetes/controller-manager

KUBE\_CONTROLLER\_MANAGER\_ARGS="--master=https://10.1.31.205:6443 --service-account-private-key-file=/etc/kubernetes/ssl/server.key --logtostderr=true --log-dir=/app/kubernets/log --v=2 --root-ca-file=/etc/kubernetes/ssl/ca.crt --kubeconfig=/etc/kubernetes/kubeconfig"

![70 6][]

4、kube-scheduler

1、配置systemd启动文件：

\# cat /etc/kubernetes/controller-manager

\[root@docker1 bin\]\# cat /usr/lib/systemd/system/kube-scheduler.service

\[Unit\]

Description=Kubernetes Controller Manager

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=kube-apiserver.service

Requires=kube-apiserver.service

\[Service\]

EnvironmentFile=/etc/kubernetes/scheduler

ExecStart=/usr/bin/kube-scheduler $KUBE\_SCHEDULER\_ARGS

Restart=on-failure

LimitNOFILE=65536

\[Install\]

WantedBy=multi-user.target

![70 7][]

2、配置参数文件：

cat /etc/kubernetes/scheduler

KUBE\_SCHEDULER\_ARGS="--master=https://10.1.31.205:6443 --logtostderr=false --log-dir=/app/kubernets/log --kubeconfig=/etc/kubernetes/kubeconfig --v=2"

![70 8][]

5、创建kubeconfig文件

cat /etc/kubernetes/kubeconfig

apiVersion: v1

kind: Config

users:

\- name: controllermanager

user:

client-certificate: /etc/kubernetes/ssl/cs\_client.crt

client-key: /etc/kubernetes/ssl/cs\_client.key

clusters:

\- name: local

cluster:

certificate-authority: /etc/kubernetes/ssl/ca.crt

contexts:

\- context:

cluster: local

user: controllermanager

name: my-context

current-context: my-context

![70 9][]

6、创建CA证书

1、配置kube-apiserver的CA证书和私钥文件：

openssl genrsa -out ca.key 2048

openssl req -x509 -new -nodes -key ca.key -subj "/CN=10.1.31.205" -days 5000 -out ca.crt \#CN填的是master ip地址

openssl genrsa -out server.key 2048

2、创建master\_ssl.cnf文件：

cat ../master\_ssl.cnf

\[req\]

req\_extensions = v3\_req

distinguished\_name = req\_distinguished\_name

\[req\_distinguished\_name\]

\[ v3\_req \]

basicConstraints = CA:FALSE

keyUsage = nonRepudiation, digitalSignature, keyEncipherment

subjectAltName = @alt\_names

\[alt\_names\]

DNS.1 = kubernetes

DNS.2 = kubernetes.default

DNS.3 = kubernetes.default.svc

DNS.4 = kubernetes.default.svc.cluster.local

DNS.5 = k8s\_master

IP.1 = 10.222.0.1 \# ClusterIP 地址

IP.2 = 10.1.31.205 \# master IP地址

3、基于上述文件，创建server.csr和 server.crt文件，执行如下命令：

openssl req -new -key server.key -subj "/CN=docker1" -config ../master\_ssl.cnf -out server.csr \#CN是master hostname

openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 5000 -extensions v3\_req -extfile ../master\_ssl.cnf -out server.crt

openssl genrsa -out cs\_client.key 2048

4、设置kube-controller-manager相关证书：

cd /etc/kubernetes/ssl/

openssl genrsa -out cs\_client.key 2048

openssl req -new -key cs\_client.key -subj "/CN=docker1" -out cs\_client.csr

openssl x509 -req -in cs\_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out cs\_client.crt -days 5000

确保/etc/kubernetes/ssl/ 目录下有如下文件：

![70 10][]

7、启动服务：

1、启动kube-apiserver:

\# systemctl daemon-reload

\# systemctl enable kube-apiserver

\# systemctl start kube-apiserver

![70 11][]

说明：kube-apiserver 默认会启动两个端口（8080和6443），其中，8080是各个组件之间通信的端口，在新的版本中已经很少使用，kube-apiserver所在的主机一般称为Master, 另一个端口6443是为HTTPS提供身份验证和授权的端口。

2、启动kube-controller-manager：

\# systemctl daemon-reload \# systemctl enable kube-controller-manager \# systemctl start kube-controller-manager

说明：此服务会启动一个10252的端口

![70 12][]

3、启动kube-scheduler

\# systemctl daemon-reload \# systemctl enable kube-scheduler \# systemctl start kube-scheduler

说明： 此服务会启动一个10251的端口

![70 13][]

NODE节点部署：

Node节点上部署的服务非常简单，只需要部署 docker、kubelet和kube-proxy服务即可。

上传Kubernetes的Node节点二进制包（kubernetes-node-linux-amd64.tar.gz），解压后执行如下命令：

tar xf kubernetes-node-linux-amd64.tar.gz

cd /kubernetes/node/bin

cp kubectl kubelet kube-proxy /usr/bin/

1.创建kubelet证书

每台Node节点上都需要配置kubelet的客户端证书。

复制Master上的ca.crt，ca.key到Node节点上的ssl目录，执行如下命令生成kubelet\_client.crt和kubelet\_client.csr文件：

\#openssl genrsa -out kubelet\_client.key 2048

\#openssl req -new -key kubelet\_client.key -subj "/CN=10.1.1.206" -out kubelet\_client.csr \#cn是node自己的ip地址

\#openssl x509 -req -in kubelet\_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out kubelet\_client.crt -days 5000

3、kubelet

1、配置启动文件：

cat /usr/lib/systemd/system/kubelet.service

\[Unit\]

Description=Kubernetes API Server

Documentation=https://kubernetes.io/doc

After=docker.service

Requires=docker.service

\[Service\]

WorkingDirectory=/var/lib/kubelet

ExecStart=/usr/bin/kubelet --kubeconfig=/etc/kubernetes/kubeconfig.yaml --logtostderr=false --log-dir=/var/log/kubernetes --v=2

Restart=on-failure

\[Install\]

WantedBy=multi-user.target

![70 14][]

2、配置文件：

cat /etc/kubernetes/kubeconfig.yaml

apiVersion: v1

kind: Config

users:

\- name: kubelet

user:

client-certificate: /etc/kubernetes/ssl/kubelet\_client.crt

client-key: /etc/kubernetes/ssl/kubelet\_client.key

clusters:

\- name: local

cluster:

certificate-authority: /etc/kubernetes/ssl/ca.crt

server: https://10.1.31.205:6443 \#MASTER apiserver

contexts:

\- context:

cluster: local

user: kubelet

name: my-context

current-context: my-context

3、启动服务：

\# systemctl daemon-reload \# systemctl start kubelet \# systemctl enable kubelet

4、在master上验证：

![70 15][]

说明：kubelet充当了一个agent的角色，安装好kubelet就可以在master上查看到节点信息。kubelet的配置文件是一个yaml格式文件，对master的指定需要在配置文件中说明。默认监听10248、10250、10255、4194端口。

4、 kube-proxy

\#cat /usr/lib/systemd/system/kube-proxy.service

\[Unit\]

Description=Kubernetes Kube-Proxy Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=network.service

Requires=network.service

\[Service\]

EnvironmentFile=/etc/kubernetes/proxy

ExecStart=/usr/bin/kube-proxy $KUBE\_PROXY\_ARGS

Restart=on-failure

LimitNOFILE=65536

\[Install\]

WantedBy=multi-user.target

![70 16][]

2、创建参数文件：

\# cat /etc/kubernetes/proxy

KUBE\_PROXY\_ARGS="--master=https://10.1.31.205:6443 --kubeconfig=/etc/kubernetes/kubeconfig.yaml"

3、启动服务：

\# systemctl daemon-reload

\# systemctl start kube-proxy

\# systemctl enable kube-proxy

说明：启动服务后默认监听10249，10256.

[https_github.com_kubernetes_kubernetes_blob_master_CHANGELOG-1.12.md_v1120]: https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.12.md#v1120
[kubernetes-server-linux-amd64.tar.gz]: https://dl.k8s.io/v1.12.0/kubernetes-server-linux-amd64.tar.gz
[70]: /images/20220509/3c949a8a32024de1b7ff53b1978e1941.png
[70 1]: /images/20220509/36e23b0a1d0c425a9b01b02c68f58b24.png
[70 2]: /images/20220509/7d30932b7ae8453989e44248b15deb56.png
[70 3]: /images/20220509/f8f5ecdc38574b44b6685aa221706685.png
[70 4]: /images/20220509/451eb370f901422580b2e7bdc41755e0.png
[70 5]: /images/20220509/ff92465fa08641b29491ab01b1d85dca.png
[70 6]: /images/20220509/9fbd5938455148cc9f4d01c0122fe8ad.png
[70 7]: /images/20220509/04b807416ce14aa684eb94c02c09faa2.png
[70 8]: /images/20220509/2ca1fd00ff3642ab97c546f673d386b6.png
[70 9]: /images/20220509/9d14be906f77489c94405b2e9753a993.png
[70 10]: /images/20220509/b2373c68f94c4f419a402f33fb43fbd9.png
[70 11]: /images/20220509/3bc2aaba9b874a9484f3f52c1e5ccec7.png
[70 12]: /images/20220509/cb8d61fc6883455099e267ed93e06961.png
[70 13]: /images/20220509/6167439a3f6e482196055bbbf1f2023e.png
[70 14]: /images/20220509/2460b92352404b779c1298bf69d8f153.png
[70 15]: /images/20220509/52f4a6af5feb4f849dabaac62dbab5ee.png
[70 16]: /images/20220509/3186e7554c40408696f349bb4bd539fe.png