kubernetes(k8s) 配置nfs动态卷实现StatefulSet的持久化存储

柔光的暖阳◎ 2023-07-17 02:52 13阅读 0赞

# kubernetes(k8s) 配置nfs动态卷实现StatefulSet的持久化存储 #

> 参考：
> 
> 1、https://blog.csdn.net/weixin\_41004350/article/details/90168631
> 
> 2、https://blog.csdn.net/weixin\_41004350/article/details/78492351

我们知道，平时kubernetes在部署无状态服务的时候，并不需要太多考虑持久化存储的事情，直接通过volume挂载网络存储，比如常见的nfs就能实现文件共享存储。

但是如果在有状态服务中，你就会需要很多的问题，比如：当你部署一些集群服务的时候：

1.  不可以用共享存储，因为每个服务的数据都不能相同。
2.  不可以直接用node的本地路径进行挂载，因为pod的随机性，一个node可能会跑多个pod副本，则会造成冲突。
3.  数据量可能会很大，可能需要使用外部存储，或者独立的磁盘，云盘等
4.  就算用pv，pvc也很不方便，需要你提前手动创建，不方便扩展。
    
    然后我们细数一下k8s里的持久化存储，总的分为两种，静态卷和动态卷。静态卷就是刚才我们说的，volume挂载，或者通过手动创建pv，pvc进行挂载。都属于静态卷。而动态卷，则是将一个网络存储作为一个StorageClass类，通过自己的配置，来动态的创建pv,pvc并进行绑定，这样就可以实现动态的存储生成与持久化保存。

> 具体详细的k8s的存储系统知识可以查看官方文档

下面我们就说一下，怎么通过nfs动态卷来实现有状态服务的储存。

# 1. centos7.6 配置NFS文件服务器，远程共享文件 #

NFS 文件服务器，是可以远程共享文件，将远程文件挂载到本地，然后就可以作为本地文件一样进操作，所做更改则会同步到nfs远程服务器上，在跨主机的共享文件上非常方便，比建立一个集中的ftp服务器要方便很多。之前的FTP文件文件服务器用于远程验证下载，上传文件，但是需要验证并登陆，才能进行操作，而且不能直接在另外一台主机上直接下载网络文件并保存在ftp上，而要先保存在本地，然后传到ftp服务器上，繁琐而不方便。

## 1.1 服务端安装配置（也就是文件实际存放的位置） ##

### 1.1.1 安装nfs 和 rpcbind（使用nfs服务，都需要安装的rpc服务），并配置开机启动 ###

yum install nfs-utils
    yum install rpcbind
    systemctl enable nfs-server
    systemctl enable rpcbind

### 1.1.2 启动nfs 和rpcbind ###

systemctl start nfs
    systemctl start rpcbind
    systemctl status rpcbind # 查看服务状态

### 1.1.3 创建要共享的文件，也可以是原先已经存在的文件夹 ###

mkdir /mydata

### 1.1.4 为文件夹设置用户和用户组，需要设为nfsnobody ###

chown nfsnobody.nfsnobody /mydata

### 1.1.5 编辑nfs配置文件 ###

添加配置，将本机的这个路径的文件作为nfs共享文件，共享给指定IP，或指定IP段

cat > /etc/exports <<\EOF
    /mydata xxx.xxx.xxx.xxx(rw,sync,all_squash) 
    EOF

比如：

/mydata 10.177.106.0/24(rw,sync,all_squash)

### 1.1.6 重载配置 ###

exportfs -rv

### 1.1.7 查看本地挂载情况 ###

showmount -e localhost

## 1.2 客户端安装与配置（需要在nfs-provisioner pod所在节点安装） ##

### 1.2.1 同样需要先下载安装nfs，rpcbind，并设为开机启动 ###

yum install nfs-utils
    yum install rpcbind
    systemctl enable nfs
    systemctl enable rpcbind

### 1.2.2 创建想要挂载的目录文件 ###

mkdir /usr/local/mydata

### 1.2.3 将服务端的目录挂载到本地的对应目录下 ###

mount -t nfs xxx.xxx.xxx.xxx:/usr/local/mydata usr/local/mydata # xxx.xxx.xxx.xxx为nfs服务IP

### 1.2.4 查看挂载情况 ###

df -h

### 1.2.5 卸载挂载方式 ###

umount /usr/local/mydata

> 注意：
> 
> （1）如果没有关闭nfs服务端的防火墙，则会挂载失败。需要在服务端开启需要的端口，在centos7上，用firewalld防火墙直接开放nfs服务即可自动通过。
> 
>     firewall-cmd --add-service=nfs --permanent
>     firewall-cmd --reload

## 1.3 服务端参数详解 ##

### 1.3.1 配置可参考的参数如下 ###

NFS客户端地址：  
指定IP: 192.168.0.1  
指定子网所有主机: 192.168.0.0/24  
指定域名的主机: test.com  
指定域名所有主机: \*.test.com  
所有主机: \*

### 1.3.2 参数 ###

### 1.3.3 这两个影响性能的设置 ###

sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性  
async：将数据先保存在内存缓冲区中，必要时才写入磁盘

### 1.3.4 其他参数解释 ###

all\_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody)  
no\_all\_squash：与all\_squash取反(默认设置)  
root\_squash：将root用户及所属组都映射为匿名用户或用户组(默认设置)  
no\_root\_squash：与rootsquash取反  
anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户(UID=xxx)  
anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户

# 2. k8s配置使用nfs作为网络存储 #

## 2.1 创建namespace，用作测试的命名空间 ##

apiVersion: v1
    kind: Namespace
    metadata:
       name: test
       labels:
         name: test

## 2.2 创建RBAC授权 ##

apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: nfs-provisioner
      namespace: test
    ---
    kind: ClusterRole
    apiVersion: rbac.authorization.k8s.io/v1
    metadata:
       name: nfs-provisioner-runner
    rules:
       -  apiGroups: [""]
          resources: ["persistentvolumes"]
          verbs: ["get", "list", "watch", "create", "delete"]
       -  apiGroups: [""]
          resources: ["persistentvolumeclaims"]
          verbs: ["get", "list", "watch", "update"]
       -  apiGroups: ["storage.k8s.io"]
          resources: ["storageclasses"]
          verbs: ["get", "list", "watch"]
       -  apiGroups: [""]
          resources: ["events"]
          verbs: ["list", "watch", "create", "update", "patch"]
       -  apiGroups: [""]
          resources: ["services", "endpoints"]
          verbs: ["get","create","list", "watch","update"]
       -  apiGroups: ["extensions"]
          resources: ["podsecuritypolicies"]
          resourceNames: ["nfs-provisioner"]
          verbs: ["use"]
    ---
    kind: ClusterRoleBinding
    apiVersion: rbac.authorization.k8s.io/v1
    metadata:
      name: run-nfs-provisioner
    subjects:
      - kind: ServiceAccount
        name: nfs-provisioner
        namespace: test
    roleRef:
      kind: ClusterRole
      name: nfs-provisioner-runner
      apiGroup: rbac.authorization.k8s.io

## 2.3 创建nfs-provisioner ##

kind: Deployment
    apiVersion: apps/v1
    metadata:
      name: nfs-client-provisioner
      namespace: test
      labels:
        app: nfs-client-provisioner
    spec:
      replicas: 1
      strategy:
        type: Recreate
      selector:
        matchLabels:
          app: nfs-client-provisioner
      template:
        metadata:
          labels:
            app: nfs-client-provisioner
        spec:
          serviceAccount: nfs-provisioner
          containers:
            - name: nfs-client-provisioner
              image: quay.io/external_storage/nfs-client-provisioner:latest
              volumeMounts:
                - name: nfs-client-root
                  mountPath: /persistentvolumes
              env:
                - name: PROVISIONER_NAME
                  value: nfs-provisioner
                - name: NFS_SERVER
                  value: xxx.xxx.xxx.xxx
                - name: NFS_PATH
                  value: /mydata
          volumes:
            - name: nfs-client-root
              nfs:
                server: xxx.xxx.xxx.xxx
                path: /mydata

## 2.4 创建storageclass ##

apiVersion: storage.k8s.io/v1
    kind: StorageClass
    metadata:
      name: managed-nfs-storage
    provisioner: nfs-provisioner
    parameters:
      archiveOnDelete: "true"

## 2.5 测试使用 ##

在StatefulSet中，通过配置volumeClaimTemplates来配置使用动态卷

apiVersion: apps/v1beta1 
    kind: StatefulSet 
    metadata:
      name: tomcat
      namespace: test
      labels:
        app: statefulset
    spec:
      serviceName: tomcat-svc-headless
      replicas: 4
      updateStrategy:
        type: RollingUpdate
        rollingUpdate:
          partition: 3
      template:
        metadata:
           labels:
             app: tomcat
        spec:
          containers:
          - name: tomcat
            image: hub.c.163.com/library/tomcat:8.0
            imagePullPolicy: IfNotPresent
            ports:
            - containerPort: 8080
              name: tomcat
            volumeMounts:
            - name: webpath
              mountPath: /usr/local/tomcat/webapps/test
      volumeClaimTemplates:
      - metadata:
          name: webpath
          annotations: 
            volume.beta.kubernetes.io/storage-class: "managed-nfs-storage" #这里managed-nfs-storage就是我们创建的storageclass的name
        spec:
          accessModes:
          - ReadWriteMany
          resources:
            requests:
              storage: 1Gi 
    
    
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: tomcat-svc-headless
      namespace: test
      labels:
        app: statefulset
    spec:
      ports:
      - port: 8080
        name: tomcat
      clusterIP: None
      selector:
        app: statefulset