k8s实用整理(18)-k8s存储之NFS

本是古典何须时尚 2023-03-03 12:25 32阅读 0赞

# [k8s实用整理(18)-k8s存储之NFS ][k8s_18_-k8s_NFS] #

## 1 NFS介绍 ##

NFS是Network File System的简写，即网络文件系统，NFS是FreeBSD支持的文件系统中的一种。NFS基于RPC(Remote Procedure Call)远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS是一个非常稳定的，可移植的网络文件系统。具备可扩展和高性能等特性，达到了企业级应用质量标准。由于网络速度的增加和延迟的降低，NFS系统一直是通过网络提供文件系统服务的有竞争力的选择 。

### **1.1 NFS原理** ###

NFS 使用RPC(Remote Procedure Call)的机制进行实现，RPC使得客户端可以调用服务端的函数。同时，由于有 VFS 的存在，客户端可以像使用其它普通文件系统一样使用 NFS 文件系统。经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS服务器执行相关的操作，并将操作结果返回给客户端。

![format_png][]

**NFS服务主要进程包括：**

*  rpc.nfsd：最主要的NFS进程，管理客户端是否可登录
 *  rpc.mountd：挂载和卸载NFS文件系统，包括权限管理
 *  rpc.lockd：非必要，管理文件锁，避免同时写出错
 *  rpc.statd：非必要，检查文件一致性，可修复文件

**NFS的关键工具包括：**

*  主要配置文件：/etc/exports；
 *  NFS文件系统维护命令：/usr/bin/exportfs；
 *  共享资源的日志文件： /var/lib/nfs/\*tab；
 *  客户端查询共享资源命令： /usr/sbin/showmount；
 *  端口配置： /etc/sysconfig/nfs。

### **1.2 共享配置** ###

在NFS服务器端的主要配置文件为/etc/exports时，通过此配置文件可以设置共享文件目录。每条配置记录由NFS共享目录、NFS客户端地址和参数这3部分组成，格式如下：

\[NFS共享目录\] \[NFS客户端地址1(参数1,参数2,参数3……)\] \[客户端地址2(参数1,参数2,参数3……)\]

*  NFS共享目录：服务器上共享出去的文件目录；
 *  NFS客户端地址：允许其访问的NFS服务器的客户端地址，可以是客户端IP地址，也可以是一个网段(192.168.64.0/24)；
 *  访问参数：括号中逗号分隔项，主要是一些权限选项。

1）访问权限参数

![format_png 1][]

2）用户映射参数 图表

![format_png 2][]

3）其它配置参数 图表

![format_png 3][]

## 2 NFS服务端配置 ##

在nfs作为网络文件存储系统前，首先，需要安装nfs和rpcbind服务；接着，需要创建使用共享目录的用户；然后，需要对共享目录进行配置，这是其中相对重要和复杂的一个步骤；最后，需要启动rpcbind和nfs服务，以供应用使用。

### **2.1 安装nfs服务** ###

1）通过yum目录安装nfs服务和rpcbind服务：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>rpcinfo -p localhost</code></p> </td> 
  </tr> 
 </tbody> 
</table>

2）检查nfs服务是否正常安装

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>rpcinfo -p localhost</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### **2.2 创建用户** ###

为NFS服务其添加用户，并创建共享目录，以及设置用户设置共享目录的访问权限：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>useradd</code> <code>-u nfs</code></p> <p><code>mkdir</code> <code>-p </code><code>/nfs-share</code></p> <p><code>chmod</code> <code>a+w </code><code>/nfs-share</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### **2.3 配置共享目录** ###

在nfs服务器中为客户端配置共享目录：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>echo</code> <code>"/nfs-share 172.16.0.0(rw,async,no_root_squash)"</code> <code>&gt;&gt; </code><code>/etc/exports</code></p> </td> 
  </tr> 
 </tbody> 
</table>

通过执行如下命令是配置生效：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>exportfs -r</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### **2.4 启动服务** ###

1）由于必须先启动rpcbind服务，再启动nfs服务，这样才能让nfs服务在rpcbind服务上注册成功：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>systemctl start rpcbind</code></p> </td> 
  </tr> 
 </tbody> 
</table>

2）启动nfs服务：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>systemctl start nfs-server</code></p> </td> 
  </tr> 
 </tbody> 
</table>

3）设置rpcbind和nfs-server开机启动：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>systemctl </code><code>enable</code> <code>rpcbind</code></p> <p><code>systemctl </code><code>enable</code> <code>nfs-server</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### 2.5 检查nfs服务是否正常启动 ###

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>showmount -e localhost</code></p> <p><code>mount</code> <code>-t nfs 127.0.0.1:</code><code>/data</code> <code>/mnt</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 3 NFS作为Volume ##

nfs可以直接作为存储卷使用，下面是一个redis部署的YAML配置文件。在此示例中，redis在容器中的持久化数据保存在/data目录下；存储卷使用nfs，nfs的服务地址为：192.168.8.150，存储路径为：/k8s-nfs/redis/data。容器通过volumeMounts.name的值确定所使用的存储卷。

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
    kind: Deployment
    metadata:
      name: redis
    spec:
      selector:
        matchLabels:
          app: redis
      revisionHistoryLimit: 2
      template:
        metadata:
          labels:
            app: redis
        spec:
          containers:
          
    # 应用的镜像
          - image: redis
            name: redis
            imagePullPolicy: IfNotPresent
            
    # 应用的内部端口
            ports:
            - containerPort: 6379
              name: redis6379
            env:
            - name: ALLOW_EMPTY_PASSWORD
              value: "yes"
            - name: REDIS_PASSWORD
              value: "redis"          
    # 持久化挂接位置，在docker中 
            volumeMounts:
            - name: redis-persistent-storage
              mountPath: /data
          volumes:      
    # 宿主机上的目录
          - name: redis-persistent-storage
            nfs:
              path: /k8s-nfs/redis/data
              server: 192.168.8.150

## 4 NFS作为PersistentVolum ##

在Kubernetes当前版本的中，可以创建类型为nfs的持久化存储卷，用于为PersistentVolumClaim提供存储卷。在下面的PersistenVolume YAML配置文件中，定义了一个名为nfs-pv的持久化存储卷，此存储卷提供了5G的存储空间，只能由一个PersistentVolumClaim进行可读可写操作。此持久化存储卷使用的nfs服务器地址为192.168.5.150，存储的路径为/tmp。

apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: nfs-pv
    spec:
      capacity:
        storage: 5Gi
      volumeMode: Filesystem
      accessModes:
      - ReadWriteOnce
      persistentVolumeReclaimPolicy: Recycle
      storageClassName: slow
      mountOptions:
      - hard
      - nfsvers=4.1
      # 此持久化存储卷使用nfs插件
      nfs:
        # nfs共享目录为/tmp
        path: /tmp
        # nfs服务器的地址
        server: 192.168.5.150

通过执行如下的命令可以创建上述持久化存储卷：

kubectl create -f {path}/nfs-pv.yaml

存储卷创建成功后将处于可用状态，等待PersistentVolumClaim使用。PersistentVolumClaim会通过访问模式和存储空间自动选择合适存储卷，并与其进行绑定。

## 5 NFS作为动态存储提供 ##

### **5.1 部署nfs-provisioner** ###

为nfs-provisioner实例选择存储状态和数据的存储卷，并将存储卷挂接到容器的/export 命令。

...
     volumeMounts:
        - name: export-volume
          mountPath: /export
    volumes:
      - name: export-volume
        hostPath:
          path: /tmp/nfs-provisioner
    ...

为StorageClass选择一个供应者名称，并在deploy/kubernetes/deployment.yaml进行设置。

args:
      - "-provisioner=example.com/nfs"
    ...

完整的deployment.yaml文件内容如下：

kind: Service
    apiVersion: v1
    metadata:
      name: nfs-provisioner
      labels:
        app: nfs-provisioner
    spec:
      ports:
        - name: nfs
          port: 2049
        - name: mountd
          port: 20048
        - name: rpcbind
          port: 111
        - name: rpcbind-udp
          port: 111
          protocol: UDP
      selector:
        app: nfs-provisioner
    ---
    apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: nfs-provisioner
    spec:
      replicas: 1
      strategy:
        type: Recreate
      template:
        metadata:
          labels:
            app: nfs-provisioner
        spec:
          containers:
            - name: nfs-provisioner
              image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
              ports:
                - name: nfs
                  containerPort: 2049
                - name: mountd
                  containerPort: 20048
                - name: rpcbind
                  containerPort: 111
                - name: rpcbind-udp
                  containerPort: 111
                  protocol: UDP
              securityContext:
                capabilities:
                  add:
                    - DAC_READ_SEARCH
                    - SYS_RESOURCE
              args:
                # 定义提供者的名称，存储类通过此名称指定提供者
                - "-provisioner=nfs-provisioner"
              env:
                - name: POD_IP
                  valueFrom:
                    fieldRef:
                      fieldPath: status.podIP
                - name: SERVICE_NAME
                  value: nfs-provisioner
                - name: POD_NAMESPACE
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
              imagePullPolicy: "IfNotPresent"
              volumeMounts:
                - name: export-volume
                  mountPath: /export
          volumes:
            - name: export-volume
              hostPath:
                path: /srv

在设置好deploy/kubernetes/deployment.yaml文件后，通过kubectl create命令在Kubernetes集群中部署nfs-provisioner。

kubectl create -f {path}/deployment.yaml

### **5.2 创建StorageClass** ###

下面是example-nfs的StorageClass配置文件，此配置文件定义了一个名称为nfs-storageclass的存储类，此存储类的提供者为nfs-provisioner。

apiVersion: storage.k8s.io/v1
    kind: StorageClass
    metadata:
      name: nfs-storageclass
      provisioner: nfs-provisioner

通过kubectl create -f命令使用上面的配置文件创建：

# kubectl create -f deploy/kubernetes/class.yaml
    storageclass “example-nfs” created

在存储类被正确创建后，就可以创建PersistenetVolumeClaim来请求StorageClass，而StorageClass将会为PersistenetVolumeClaim自动创建一个可用PersistentVolume。

### **5.3 创建PersistenetVolumeClaim** ###

PersistenetVolumeClaim是对PersistenetVolume的声明，即PersistenetVolume为存储的提供者，而PersistenetVolumeClaim为存储的消费者。下面是PersistentVolumeClaim的YAML配置文件，此配置文件通过metadata.annotations\[\].volume.beta.kubernetes.io/storage-class字段指定所使用的存储储类。

在此配置文件中，使用nfs-storageclass存储类为PersistenetVolumeClaim创建PersistenetVolume，所要求的PersistenetVolume存储空间大小为1Mi，可以被多个容器进行读取和写入操作。

apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: nfs-pvc
      annotations:
        volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 1Mi

通过kubectl create命令创建上述的持久化存储卷声明：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>kubectl create -f {path}</code><code>/claim</code><code>.yaml</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### **5.4 创建使用PersistenVolumeClaim的部署** ###

在这里定义名为busybox-deployment的部署YAML配置文件，使用的镜像为busybox。基于busybox镜像的容器需要对/mnt目录下的数据进行持久化，在YAML文件指定使用名称为nfs的PersistenVolumeClaim对容器的数据进行持久化。

# This mounts the nfs volume claim into /mnt and continuously
    # overwrites /mnt/index.html with the time and hostname of the pod.
    apiVersion: v1
    kind: Deployment
    metadata:  
      name: busybox-deployment
    spec:  
      replicas: 2  
      selector:    
        name: busybox-deployment
      template:    
        metadata:      
          labels:        
            name: busybox-deployment    
        spec:      
          containers:      
          - image: busybox        
            command:          
            - sh          
            - -c          
            - 'while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done'        
            imagePullPolicy: IfNotPresent        
            name: busybox        
            volumeMounts:          
            # name must match the volume name below          
            - name: nfs            
              mountPath: "/mnt"    
          #
          volumes:      
          - name: nfs        
            persistentVolumeClaim:          
             claimName: nfs-pvc

通过kubectl create创建busy-deployment部署：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>kubectl create -f {path}</code><code>/nfs-busybox-deployment</code><code>.yaml</code></p> </td> 
  </tr> 
 </tbody> 
</table>

[k8s_18_-k8s_NFS]: https://www.cnblogs.com/DaweiJ/articles/9131762.html
[format_png]: /images/20230208/98ec110106a34c2bbb61473c1488dd2a.png
[format_png 1]: /images/20230208/5968897f88d040de80673e12542c4a5c.png
[format_png 2]: /images/20230208/4f01e40084d74eacb158cd75df2f0c05.png
[format_png 3]: /images/20230208/3244315bfe264ddda783d3f3799ed111.png