rancher设置服务的持久化

心已赠人 2023-01-24 05:21 336阅读 0赞

本文章分为两部分，第一部分是Deployment无状态服务的工作负载做持久化，第二部分是类似redis的StatefulSet有状态服务做持久化。

整个过程是：创建PV（并且选择插件类型Ceph或nfs等）-> 创建PVC并关联PV -> 业务负载关联PVC

通用方法（手动创建PV、PVC，不使用存储类自动创建）：[https://www.zasters.com/?p=161][https_www.zasters.com_p_161]

一些概念：  
每个pod启动会新建一个PVC，并且PVC不会随着pod的减少而删除；一个pod经过创建、删除、再创建，此pod会在原来的节点上，使用原来的PVC；pod通过PVC去请求PV存储，PVC和PV一一对应，PV和PVC中的storageClassName字段必须一致，PV们是集群的一段网络存储，针对整个集群，由管理员进行创建和配置，它和具体的底层的共享存储技术的实现方式有关，比如 Ceph、GlusterFS、NFS 等，都是通过插件机制完成与共享存储的对接。StorageClass为管理员提供了一种描述他们提供的存储的“类”的方法，PV是运维人员来创建的，开发操作PVC，可是大规模集群中可能会有很多PV，如果这些PV都需要运维手动来处理这也是一件很繁琐的事情，所以就有了动态供给概念，也就是Dynamic Provisioning，动态供给的关键就是StorageClass，它的作用就是创建PV模板。创建StorageClass里面需要定义PV属性比如存储类型、大小等；另外创建这种PV需要用到存储插件。**最终效果是，用户提交PVC，里面指定存储类型，如果符合我们定义的StorageClass，则会为其自动创建PV并进行绑定。**如果集群中没有StorageClass的动态供应PVC的机制，也可以提前手动创建多个PV、PVC，手动创建的PVC名称必须符合之后创建的StatefulSet命名规则：(volumeClaimTemplates.name)-(pod\_name)  
PV 的回收策略为 Recycle，目前 PV 支持的策略有三种：

*  Retain（保留）- 保留数据，需要管理员手工清理数据
 *  Recycle（回收）- 清除 PV 中的数据，效果相当于执行 rm -rf /thevoluem/\*
 *  Delete（删除）- 与 PV 相连的后端存储完成 volume 的删除操作，当然这常见于云服务商的存储服务，比如 ASW EBS。

一个 PV 的生命周期中，可能会处于4中不同的阶段：

*  Available（可用）：表示可用状态，还未被任何 PVC 绑定
 *  Bound（已绑定）：表示 PV 已经被 PVC 绑定
 *  Released（已释放）：PVC 被删除，但是资源还未被集群重新声明
 *  Failed（失败）： 表示该 PV 的自动回收失败

PV的三种访问方式：

*  ReadWriteOnce(RWO) 只能被挂载在某一个Kubernetes的工作节点（以下简称节点）上，当再次尝试在其他节点挂载的时候，系统会报Multi-Attach的错误
 *  ReadOnlyMany(ROX) 可以以只读的方式被多个Pod挂载
 *  ReadWriteMany(RWX) 这种存储可以以读写的方式被多个Pod共享。不是每一种存储都支持这三种方式，像共享方式，目前支持的还比较少，比较常用的是NFS。

--------------------

### 1.Deployment无状态服务的工作负载做持久化 ###

一般通过nas存储基于nfs实现  
1.直接配置deployment方式（不创建PV卷及PVC，使用已有的卷）：

containers:
    --省略--
      volumeMounts:
        - mountPath: /apprun/nasdata
          name: nfs-dhome
    volumes:
      - name: nfs-dhome
        nfs:
          path: /0003a9_yl2
          server: 172.21.9.9

172.21.9.9/0003a9\_yl2就是分配的NAS地址和目录/apprun/nasdata就是pod里的目录，挂载到这块NAS盘，kubectl apply -f XXXX.yamll的时候自动挂载，pod目录自动创建  
2.动态存储持久卷PV,PVC  
创建PV：

kind: PersistentVolume
    apiVersion: v1
    metadata:
      name: content-datadir    // PV名称
      namespace: xxxxxx
      labels:
        app: xxxxxx
     spec:
      capacity: 
        storage: 256Gi
      accessModes:
        - ReadWriteMany
      persistentVolumeReclaimPolicy: Retain
      nfs:
        path: /kubernetes-storage/.....
        server: xxxxxxxxxx.xxx.xx.aliyuncs.com

deployment配置：

-- 以上省略 -- 
    volumeMounts:
        - mountPath: /apprun/nasdata
          name: app-logs
    volumes:
     name: app-logs
     persistentVolumeClaim:
        claimName: content-datadir

### 2.StatefulSet有状态服务做持久化 ###

一般创建PV和PVC（PV插件为nfs或Ceph RBD）  
这里展示Ceph RBD方式：  
1.挂载ceph存储(仅支持单副本存储，不支持多副本共享.子目录首次手动创建)

kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: content-datadir    // PVC名称
      accessModes:
        - ReadWriteOnce     // 单机读写
     storageClassName: 你存储类的名称
     resources:
      requests:
       storage: 5Gi   // 容量

2.StatefulSet配置

-- 以上省略 -- 
    volumes:
     name: content-datadir
     persistentVolumeClaim:
        claimName: content-datadir

PS：或者不需要设置PVC，直接在StatefulSet中设置pvc的模板(volumeClaimTemplates),将自动创建pvc:

volumeClaimTemplates:
      - metadata:
          name: data
        spec:
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 10Gi
          storageClassName: 你存储类的名称

参考：  
[https://www.cnblogs.com/zjz20/p/12807286.html][https_www.cnblogs.com_zjz20_p_12807286.html]  
[https://blog.csdn.net/weixin\_44729138/article/details/106054025][https_blog.csdn.net_weixin_44729138_article_details_106054025]

[https_www.zasters.com_p_161]: https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zasters.com%2F%3Fp%3D161
[https_www.cnblogs.com_zjz20_p_12807286.html]: https://links.jianshu.com/go?to=https%3A%2F%2Fwww.cnblogs.com%2Fzjz20%2Fp%2F12807286.html
[https_blog.csdn.net_weixin_44729138_article_details_106054025]: https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fweixin_44729138%2Farticle%2Fdetails%2F106054025