Kubernetes(K8s)2020版二进制安装k8s（3）

快来打我* 2022-09-01 14:57 252阅读 0赞

# 整体流程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTIwNjMxMTU3_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTIwNjMxMTU3_size_16_color_FFFFFF_t_70 1]

## 规划 ##

# 查看服务的状态
    systemctl status etcd.service
    
    k8s-master 
    192.168.31.71
    etcd-1
    # master存在：apiserver controller-manager scheduler etcd
    kube-apiserver，
    kube-controller-manager，
    kube-scheduler，
    etcd
    
    
    k8s-node1 
    192.168.31.72
    etcd-2
    # node存在 kubelet kube-proxy etcd
    kubelet，
    kube-proxy，
    docker etcd

## 3、操作系统初始化配 ##

# 关闭防火墙
    systemctl stop firewalld
    systemctl disable firewalld
    
    # 关闭 selinux
    sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
    setenforce 0 # 临时
    
    # 关闭 swap
    swapoff -a # 临时
    sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久
    
    # 根据规划设置主机名
    hostnamectl set-hostname <hostname>
    # 在 master 添加 hosts
    cat >> /etc/hosts << EOF 192.168.44.147 m1 192.168.44.148 n1 EOF
    
    # 将桥接的 IPv4 流量传递到 iptables 的链
    cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF
    sysctl --system # 生效
    
    # 时间同步 。正确的时间同步 见上个文档
    yum install ntpdate -y
    ntpdate time.windows.com

# 4、部署 Etcd 集群 #

Etcd 是一个分布式键值存储系统，  
Kubernetes 使用 Etcd 进行数据存储，  
所以先准备 一个 Etcd 数据库，为解决 Etcd 单点故障，应采用集群方式部署，这里使用 3 台组建集 群，可容忍 1 台机器故障，  
当然，你也可以使用 5 台组建集群，可容忍 2 台机器故障。

## 4.1 准备 cfssl 证书生成工具 ##

cfssl 是一个开源的证书管理工具，使用 json 文件生成证书，相比 openssl 更方便使用。 找任意一台服务器操作，这里用 Master 节点。

# cfssl
    wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
    # cfssljson
    wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
    
    # cfssl-certinfo
    wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
    
    # 把 cfssl cfssljson cfssl-certinfo赋予执行的权限
    chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
    
    # 把这三个软件 重命名，移动到 /usr/local
    # cfssl
    mv cfssl_linux-amd64 /usr/local/bin/cfssl
    # cfssljson
    mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
    # cfssl-certinfo
    mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

4.2 生成 Etcd 证书

（1）自签证书颁发机构（CA） 创建工作目录：

# 创建 TLS 下的 etcd 和 k8s目录
    mkdir -p ~/TLS/{ etcd,k8s}
    # 进入
    cd TLS/etcd

自签 CA：

// 创建 ca-config.json
    cat > ca-config.json<< EOF
    { 
    "signing": { 
    "default": { 
    "expiry": "87600h"
    },
    "profiles": { 
    "www": { 
    "expiry": "87600h",
    "usages": [
    "signing",
    "key encipherment",
    "server auth",
    "client auth"
    ]
    }
    }
    }
    }
    EOF
    
    // 创建 ca-csr.json
    cat > ca-csr.json<< EOF
    { 
    "CN": "etcd CA",
    "key": { 
    "algo": "rsa",
    "size": 2048
    },
    "names": [
    { 
    "C": "CN",
    "L": "Beijing",
    "ST": "Beijing"
    }
    ]
    }
    EOF

*  有了 ca-config 和 ca-csr 文件

生成证书：

# 使用 ca-csr.json生成证书
    cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
    
    # 生成了 ca-kay 和 ca 的 pem文件
    ls *pem
    ca-key.pem ca.pem

（2）使用自签 CA 签发 Etcd HTTPS 证书 创建证书申请文件：

// 生成了 server-csr.json 
    cat > server-csr.json<< EOF
    { 
    "CN": "etcd",
    "hosts": [
    "192.168.31.71",
    "192.168.31.72",
    "192.168.31.73"
    ],
    "key": { 
    "algo": "rsa",
    "size": 2048
    },
    "names": [
    { 
    "C": "CN",
    "L": "BeiJing",
    "ST": "BeiJing"
    }
    ]
    }
    EOF

注：上述文件 hosts 字段中 IP 为所有 etcd 节点的集群内部通信 IP，一个都不能少！为了 方便后期扩容可以多写几个预留的 IP。

生成证书： cfssl gencert

# 使用了 ca.pem 和 ca-key.pem 和 ca-config 和 server-csr
    # 即 上面的文件 都使用上了
    cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -
    profile=www server-csr.json | cfssljson -bare server
    
    # 查看 server相关的 pem
    ls server*pem
    # 得到 server-key 和 server .pem
    server-key.pem server.pem

4.3 从 Github 下载二进制文件 下载地址：https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9- linux-amd64.tar.gz

## 4.4 部署 Etcd 集群 ##

以下在节点 1 上操作，为简化操作，待会将节点 1 生成的所有文件拷贝到节点 2 和节点 3. （1）创建工作目录并解压二进制包

# 创建目录
    mkdir /opt/etcd/{ bin,cfg,ssl} –p
    # 解压文件
    tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
    # 移动 etcd 和 etcdctl到 /opt... 目录
    mv etcd-v3.4.9-linux-amd64/{ etcd,etcdctl} /opt/etcd/bin/

（2）创建 etcd 配置文件

cat > /opt/etcd/cfg/etcd.conf << EOF #[Member] ETCD_NAME="etcd-1" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379" ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new" EOF

ETCD\_NAME：节点名称，集群中唯一 ETCD\_DATA\_DIR：数据目录 ETCD\_LISTEN\_PEER\_URLS：集群通信监听地址 ETCD\_LISTEN\_CLIENT\_URLS：客户端访问监听地址 ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS：集群通告地址 ETCD\_ADVERTISE\_CLIENT\_URLS：客户端通告地址 ETCD\_INITIAL\_CLUSTER：集群节点地址 ETCD\_INITIAL\_CLUSTER\_TOKEN：集群 Token ETCD\_INITIAL\_CLUSTER\_STATE：加入集群的当前状态，new 是新集群，existing 表示加入 已有集群

（3）systemd 管理 etcd

cat > /usr/lib/systemd/system/etcd.service << EOF [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target [Service] Type=notify EnvironmentFile=/opt/etcd/cfg/etcd.conf ExecStart=/opt/etcd/bin/etcd \ --cert-file=/opt/etcd/ssl/server.pem \ --key-file=/opt/etcd/ssl/server-key.pem \ --peer-cert-file=/opt/etcd/ssl/server.pem \ --peer-key-file=/opt/etcd/ssl/server-key.pem \ --trusted-ca-file=/opt/etcd/ssl/ca.pem \ --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \ --logger=zap Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF

（4）拷贝刚才生成的证书 把刚才生成的证书拷贝到配置文件中的路径：

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

（5）启动并设置开机启动

systemctl daemon-reload # 刷新
    systemctl start etcd # 启动
    systemctl enable etcd # 自启

（6）将上面节点 1 所有生成的文件拷贝到节点 2 和节点 3

# /etcd 拷贝到 root@ip:/目录
    scp -r /opt/etcd/ root@192.168.31.72:/opt/
    
    # etcd.service 依然如此拷贝
    scp /usr/lib/systemd/system/etcd.service
    root@192.168.31.72:/usr/lib/systemd/system/
    
    
    scp -r /opt/etcd/ root@192.168.31.73:/opt/
    
    scp /usr/lib/systemd/system/etcd.service
    root@192.168.31.73:/usr/lib/systemd/system/

然后在节点 2 和节点 3 分别修改 etcd.conf 配置文件中的节点名称和当前服务器 IP：

vi /opt/etcd/cfg/etcd.conf
    #[Member]
    ETCD_NAME="etcd-1" # 修改此处，节点 2 改为 etcd-2，节点 3 改为 etcd-3
    
    ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
    ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380" # 修改此处为当前服务器 IP
    ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379" # 修改此处为当前服务器 IP
    #[Clustering]
    ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380" # 修改此处为当前
    服务器 IP
    ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379" # 修改此处为当前服务器
    IP
    ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380"
    ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
    ETCD_INITIAL_CLUSTER_STATE="new

最后启动 etcd 并设置开机启动，同上。

（7）查看集群状态

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --
    cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --
    endpoints="https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.16 8.31.73:2379" endpoint health
    https://192.168.31.71:2379 is healthy: successfully committed proposal: took =
    8.154404ms
    https://192.168.31.73:2379 is healthy: successfully committed proposal: took =
    9.044117ms
    https://192.168.31.72:2379 is healthy: successfully committed proposal: took =
    10.000825ms

如果输出上面信息，就说明集群部署成功。如果有问题第一步先看日志： /var/log/message 或 journalctl -u etcd

# 5、安装 Docker #

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTIwNjMxMTU3_size_16_color_FFFFFF_t_70]: /images/20220829/11a635a5a07147e2bdfd647a7b77af0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTIwNjMxMTU3_size_16_color_FFFFFF_t_70 1]: /images/20220829/cfa7de55b74e4602808691bd716bb066.png