实战操作-ETCD运维

淡淡的烟草味﹌ 2022-09-04 05:43 536阅读 0赞

# 3-实战操作-ETCD运维 #

接上一篇-《[实战操作-ETCD备份和还原][-ETCD]》。

# 1. 节点管理 #

etcd 集群自动从临时失败(例如，机器重启)中恢复，而且对于一个有 N 个成员的集群能容许 (N-1)/2 的持续失败。 超过( N-1)/2 的节点同时故障，集群就会不可用。  
故障节点恢复如重装系统或更换主机，etcd 集群节点管理：

#export ETCDCTL_API=3
    #etcdctl --endpoints="https://127.0.0.1:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem member list

![20210811141513689.png][]  
查询集群节点信息。假设其中 etcd2 故障后重新上线。

#etcdctl --endpoints="https://127.0.0.1:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem member remove b8ada07757225da1

摘除原来故障节点etcd2 的 信息，即 memberID。

#etcdctl --endpoints="https://10.16.11.180:2379,https://10.16.11.180:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem member add etcd2 --peer-urls="http://10.16.11.182:2380"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70][]  
member add 命令添加重新上线的 etcd 节点，peer-urls指向新 IP。  
\#修改新节点 etcd.conf，cluster-state  
**initial-cluster-state: existing**  
或在启动参数加入—initial-cluster-state existing。  
初始化集群状态(“new” or “existing”)。在初始化静态(initial static)或者 DNS 启动 (DNS bootstrapping) 期间为所有成员设置为 new 。如果这个选项被设置为 existing , etcd 将试图加入已有的集群。如果设置为错误的值，etcd 将尝试启动但安全失败。

*  默认: “new”
 *  环境变量: ETCD\_INITIAL\_CLUSTER\_STATE
    
        #etcdctl --endpoints="https://127.0.0.1:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem member list
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 1][]  
    查看集群状态，此时 etcd 处于 unstarted。启动 etcd2 节点服务后，集群状态就恢复正常了。
    
    # 2. 证书管理 #
    
    Kubernetes 使用 etcd 建议开启证书。如果需要中途添加证书，修改修改一些配置。  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 2][]  
    如添加证书后，日志出现类似上述报错。
    
        #etcdctl --endpoints="https://127.0.0.1:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem member update b8ada07757225da1 --peer-urls="https://<etcd-ip>:2380"
    
    修改节点信息。  
    **如果节点存在之前的脏数据，可能要删除数据目录。这是风险较高操作，因此建议在集群部署时就规划使用，避免使用过程添加。**
    
    # 3. 集群节点问题 #
    
    3.1 etcd 集群对时间非常敏感。因此各个节点之间系统时间需要一致。否则可能导致集群工作异常。  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 3][]
 *  可使用统一的 NTP 服务器，保证节点时间同步。
 *  保证使用统一时区，如 Asia/Shanghai。  
    3.2 etcd 节点资源理想情况下可使用独立节点部署。
 *  小规模kubernetes 集群使用 3 节点 Etcd 集群，可与k8s master 共用主机。
 *  如资源充足，推荐使用高性能SSD。  
    假设使用3个节点构建 etcd 集群，超过两台节点同时出现故障。恢复集群需要利用备份文件  
    \#停止etcd 服务
    
        #  systemctl etcd stop

\#各节点执行备份数据导入

#ETCDCTL_API=3  etcdctl --name=etcd1 --endpoints="https://10.16.11.181:2379"  --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem  --cacert=/etc/kubernetes/cert/ca.pem  --initial-cluster-token=etcd-cluster-token --initial-advertise-peer-urls=https://10.16.11.180:2380  --initial-cluster=etcd1=https://10.16.11.180:2380,etcd2=https://10.16.11.182:2380,etcd3=https://10.16.11.181:2380  --data-dir=/data/k8s/etcd/data snapshot restore /tmp/etcd.db

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 4][]

\#启动 etcd 服务  
`#systemctl start etcd`  
\#检查集群状态  
\#确认集群数据

# 4. etcd数据存储 #

在实际生产中使用 ETCD 存储元数据，起初集群规模不大的时候元数据信息不多没有发现什么问题。随着集群规模越来越大，可能引发存储问题。  
4.1 —auto-compaction-retention  
由于ETCD数据存储多版本数据，随着写入的主键增加历史版本需要定时清理，默认的历史数据是不会清理的，数据达到2G就不能写入，必须要清理压缩历史数据才能继续写入。根据业务需求，在上生产环境之前就提前确定，历史数据多长时间压缩一次。  
手动压缩空间

# 获取当前版本号
    $ rev=$(ETCDCTL_API=3 etcdctl  endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9]*'）
    # 压缩所有旧版本
    $ ETCDCTL_API=3 etcdctl compact $rev
    # 去碎片化
    $ ETCDCTL_API=3 etcdctl defrag

4.2 —max-request-bytes  
etcd Raft消息最大字节数，ETCD默认该值为1.5M; 但是很多业务场景发现同步数据的时候1.5M完全没法满足要求，所以提前确定初始值很重要。

*  Kubernetes 如 configmap 存放在 etcd，因此不建议单个 configmap 大小不超过1MB。

4.3 —quota-backend-bytes  
ETCDdb数据大小，默认是２G,当数据达到２G的时候就不允许写入，必须对历史数据进行压缩才能继续写入。可以通过启动参数来修改值。

#etcd --auto-compaction-retention '1' --max-request-bytes '33554432' --quota-backend-bytes '8589934592'

# 5. Kubernetes 与 etcd #

`#export ETCDCTL_API=3`  
k8s对象使用的是etcd3，需要先切换API到v3  
`#etcdctl get /registry/namespaces --prefix -w=json|python -m json.tool`  
etcd v3 没有ls命令，所有的键都是使用prefix前缀

etcd 中 的 key值经过base64编码，需要解码，使用脚本循环语句获取

ThirdPartyResourceData
    apiextensions.k8s.io
    apiregistration.k8s.io
    certificatesigningrequests
    clusterrolebindings
    clusterroles
    configmaps
    controllerrevisions
    controllers
    daemonsets
    deployments
    events
    horizontalpodautoscalers
    ingress
    limitranges
    minions
    monitoring.coreos.com
    namespaces
    persistentvolumeclaims
    persistentvolumes
    poddisruptionbudgets
    pods
    ranges
    replicasets
    resourcequotas
    rolebindings
    roles
    secrets
    serviceaccounts
    services
    statefulsets
    storageclasses
    thirdpartyresources

*  etcd中所有元数据类型
 *  Kuberentes的所有元数据都保存在/registry目录下，下一层就是API对象类型（复数形式），再下一层是namespace，最后一层是对象的名字。
 *  
 *  
 *  请点个关注……

[-ETCD]: https://blog.csdn.net/guofangsky/article/details/119577609?spm=1001.2014.3001.5501
[20210811141513689.png]: /images/20220829/2116e6a50a3e41c39584be886e3be26c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70]: /images/20220829/407d9f586ddf4aaea4c86512330b6b3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 1]: /images/20220829/37e57ef20abe402ba5472ac56841035c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 2]: /images/20220829/1079f8ec3f514b47a2547b462ebea3b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 3]: /images/20220829/44a8a6adc6444559a5dc88b197e7bb50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 4]: /images/20220829/df39d8c1bfb645ddaab859ac28c76069.png