docker 数据文件管理

刺骨的言语ヽ痛彻心扉 2023-06-22 07:25 13阅读 0赞

# 一、数据管理实现方式 #

docker 容器中的文件系统有很多优势，但也有很多弊端：

1.  沙盒文件系统是跟随容器生命周期所创建和移除的，数据无法直接被持久化存储。
2.  数据和容器紧密耦合，不能简单的把数据移动到其他地方。

由于 docker 容器文件系统是基于 UnionFS，UnionFS 支持挂载不同类型的文件系统到统一的目录结构中，所以只需要将宿主操作系统中的文件系统里的文件或目录挂载到容器中，便能够让容器内外共享这个文件。通过这种方式可以互通容器内外的文件，实现容器中文件数据持久化。

# 二、挂载方式 #

基于底层存储实现，docker 提供了三种适用于不同场景的文件系统挂载方式：bind mounts、volume 和 tmpfs mounts。

1.  bind mounts 能够直接将宿主操作系统中的目录与文件挂载到容器内的文件系统中，通过指定容器外的路径和容器内的路径，就可以形成挂载映射关系，在容器内外对文件的读写，都是相互可见的。
2.  volume 也是从宿主操作系统中挂载目录到容器内，只不过这个挂载的目录由 docker 进行管理，只需要指定容器内的目录，不需要关心具体挂载到了宿主操作系统中的哪里。
3.  tmpfs mounts 支持挂载系统内存中的一部分到容器的文件系统里，不过由于内存和容器的特征，它的存储并不是持久的，其中的内容会随着容器的停止而消失。

无论选择使用哪种类型的装载，容器中的数据看起来都是相同的。它在容器的文件系统中以目录或单个文件的形式展示。

# 三、bind mounts 挂载文件到容器 #

可以在容器创建的时候通过 `-v` 或 `--volume` 选项来指定内外挂载的对应目录或文件。

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ sudo docker run -d --name nginx -v /data/nginx/html:/usr/share/nginx/html nginx:1.17.6

使用 `-v` 或 `--volume` 来挂载宿主操作系统目录的形式是 `-v <host-path>:<container-path>` 或 `--volume <host-path>:<container-path>`，其中 host-path 和 container-path 分别代表宿主操作系统中的目录和容器中的目录。需要注意的是，docker 这里强制定义目录时必须使用绝对路径，不能使用相对路径。

能够指定目录进行挂载，也能够指定具体的文件来挂载。

运行上面的命令后可以看到在宿主操作系统中的文件已经出现在容器中了 :

$ sudo docker exec nginx ls /usr/share/nginx/html
    index.html

在 `docker inspect` 的结果里，可以看到有关容器数据挂载相关的信息:

root@dreamboy:~# sudo docker inspect nginx
    [
        { 
            ...
            "Mounts": [
                { 
                    "Type": "bind",
                    "Source": "/data/nginx/html",
                    "Destination": "/usr/share/nginx/html",
                    "Mode": "",
                    "RW": true,
                    "Propagation": "rprivate"
                }
            ],
            ....
        }
    ]

在上面的返回中有一个 RW 字段，这表示挂载目录或文件的读写性(Read and Write)。docker 还支持以只读的方式挂载，通过只读方式挂载的目录和文件，只能被容器中的程序读取，但不接受容器中程序修改它们的请求。在挂载选项 `-v <host-path>:<container-path>` 后再接上 `:ro` 就可以只读挂载了。

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ sudo docker run -d --name nginx -v /data/nginx/html:/usr/share/nginx/html:ro nginx:1.17.6

### 一些场景 ###

在需要从宿主操作系统共享配置的时候。对于一些配置项，可以直接从容器外部挂载到容器中，这利于保证容器中的配置为想象中的值，也方便对配置进行监控。例如，遇到容器中时区不正确的时候，可以直接将操作系统的时区配置，也就是 `/etc/timezone` 这个文件挂载并覆盖容器中的时区配置。

在需要借助 docker 进行开发的时候。虽然在 docker 中推崇直接将代码和配置打包进镜像，以便快速部署和快速重建。但这在开发过程中显然非常不方便，因为每次构建镜像需要耗费一定的时间，这些时间积少成多，就是对开发工作效率的严重浪费了。如果直接把代码挂载进入容器，那么我们每次对代码的修改都可以直接在容器外部进行。

# 四、tmpfs mount 挂载临时文件目录 #

`tmpfs mount` 是一种特殊的挂载方式，它主要利用内存来存储数据。由于内存不是持久性存储设备，所以其带给 `tmpfs mount` 的特征就是临时性挂载。

与挂载宿主操作系统目录或文件不同，挂载临时文件目录是通过 `--tmpfs` 这个选项来完成。由于内存的具体位置不需要指定，这个选项里只需要传递挂载到容器内的目录即可。

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ sudo docker run -d --name nginx --tmpfs /usr/share/nginx/html nginx:1.17.6

容器已挂载的临时文件目录可以通过 `docker inspect nginx` 命令查看。

挂载临时文件首先要注意它不是持久存储这一特性，在此基础上，它有几种常见的适应场景。

1.  应用中使用到，但不需要进行持久保存的敏感数据，可以借助内存的非持久性和程序隔离性进行一定的安全保障。
2.  读写速度要求较高，数据变化量大，但不需要持久保存的数据，可以借助内存的高读写速度减少操作的时间。

# 五、volume 数据卷 #

除了与其他虚拟机工具近似的宿主操作系统目录挂载的功能外，docker 还创造了数据卷(volume)这个概念。数据卷的本质其实依然是宿主操作系统上的一个目录，只不过这个目录存放在 docker 内部，接受 Docker 的管理。

在使用数据卷进行挂载时，不用需要知道数据具体存储在了宿主操作系统的何处，只需要给定容器中的哪个目录会被挂载即可。

任然使用 `-v` 或 `--volume` 选项来定义数据卷的挂载。

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ sudo docker run -d --name nginx -v /usr/share/nginx/html nginx:1.17.6

可以通过 `docker inspect nginx` 命令查看容器中数据卷挂载信息。

docker inspect nginx
    [
        { 
            ......
            "Mounts": [
                { 
                    "Type": "volume",
                    "Name": "951b0a8f397fa278efdbcc8004ce5c664092d53776aae3bceb67ab1a7e57e240",
                    "Source": "/var/lib/docker/volumes/951b0a8f397fa278efdbcc8004ce5c664092d53776aae3bceb67ab1a7e57e240/_data",
                    "Destination": "/usr/share/nginx/html",
                    "Driver": "local",
                    "Mode": "",
                    "RW": true,
                    "Propagation": ""
                }
            ],
            ......
        }
    ]

这里得到的信息与 bind mounts 有所区别除了 Type 中的类型不一样之外，在数据卷挂载中，还要注意一下 Name 和 Source 这两个信息。

其中 Source 是 docker 为分配用于挂载的宿主机目录，其位于 docker 的资源区域(这里是默认的`/var/lib/docker`)内。

为了方便识别数据卷，可以像命名容器一样为数据卷命名，这里的 Name 就是数据卷的命名。在未给出数据卷命名的时候，docker 会采用数据卷的 ID 命名数据卷。也可以通过 `-v <name>:<container-path>` 这种形式来命名数据卷。

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ sudo docker run -d --name nginx -v nginx-data:/usr/share/nginx/html nginx:1.17.6

由于 `-v` 选项既有 bind mounts 的定义，又有 volume 的定义，所以其传参方式需要特别留意。前面提到的 `-v` 在定义绑定挂载时必须使用绝对路径，其目的主要是为了避免与数据卷挂载中命名这种形式的冲突。

# 六、共用数据卷 #

数据卷的命名在 docker 中是唯一的，所以可以通过数据卷的名称确定数据卷，这就可以让多个容器挂载同一个数据卷:

# 强制删除名称为 nginx 的容器
    $ docker rm -f nginx
    $ docker rm -f redis
    $ sudo docker run -d --name nginx -v nginx-data:/usr/share/nginx/html nginx:1.17.6
    $ sudo docker run -d --name redis -v nginx-data:/usr/share/redis/dump:ro redis:5.0.7

使用 `-v` 选项挂载数据卷时，如果数据卷不存在，docker 会为自动创建和分配宿主操作系统的目录，而如果同名数据卷已经存在，则会直接引用。

### 不依赖于容器独立创建数据卷 ###

通过 `docker volume create 数据卷名称` 不依赖于容器独立创建数据卷:

$ sudo docker volume create app-data

# 七、查看数据卷 #

使用 `docker volume ls` 列出当前已创建的数据卷 :

docker volume ls
    DRIVER              VOLUME NAME
    local               8e7ec3c02015b49c1017a27a017c1d3294452551c4b3348e4bfa31dccb8dbdfd
    local               17e62e49b3b6dde6eb21d348066079f8c1112f36f156a80bb0ef265c85512009
    local               app-data
    local               b7790efe2935b857f560ea4891f1f0f702c75794b7f50a57c41e898184433577
    local               b033618c531e77c400fcd407b10038e4cc03acd8291fcc914fd501d2ccf09a97
    local               nginx-data

# 八、删除数据卷 #

虽然可以直接去对应目录(默认是 `/var/lib/docker/volumes/`)删除数据卷，但是这样做显然不是好的选择，应该通过 docker 对数据卷的管理命令来删除它们。

可以直接通过 `docker volume rm 数据卷名称` 来删除指定的数据卷。

$ sudo docker volume rm appdata
    $ sudo docker volume rm 8e7ec3c02015b49c1017a27a017c1d3294452551c4b3348e4bfa31dccb8dbdfd

在删除数据卷之前，必须保证数据卷没有被任何容器所使用(也就是之前引用过这个数据卷的容器都已经删除)，否则 docker 不会允许删除这个数据卷。

注意这里不能用部分标识来删除，必须用全名来删除，但是对于没有直接命名的数据卷，因为要反复核对数据卷 id，这样的方式并不算特别友好。这种没有命名的数据卷，通常可以看成它们与对应的容器产生了绑定，因为其他容器很难使用到它。而这种绑定关系的产生，最方便的做法是在容器删除时将它们一并删除。

在 `docker rm` 删除容器的命令中，可以增加 `-v` 选项来删除容器关联的数据卷:

$ sudo docker rm -v nginx

如果没有随容器删除这些数据卷，docker 在创建新的容器时也不会启用它们，只会纯粹的占用着硬盘空间而又不受管理。

此时可以通过 `docker volume rm` 来删除它们，但是在一堆无规律的数据卷 id 中找到没有被容器引用的数据卷是很耗时的，docker 提供 `docker volume prune` 命令，它可以删除那些没有被容器引用的数据卷：

$ sudo docker volume prune -f
    Deleted Volumes:
    4713e14c4c3f1daef219009af91486b3a097336f422a6f883905782d810a9672
    b033618c531e77c400fcd407b10038e4cc03acd8291fcc914fd501d2ccf09a97
    b7790efe2935b857f560ea4891f1f0f702c75794b7f50a57c41e898184433577
    951b0a8f397fa278efdbcc8004ce5c664092d53776aae3bceb67ab1a7e57e240
    295472b7205958214245fe33620d79c8ba6399ef572e091b5bc55c06fe9b195e
    ec5e03def0ccaa54603896aceff6f4e5f60d14302bb9e0527ec555336d994b42
    f3bf8993cadc0c95b6016636717722af86d23676174c3db881da352cd7457ae7
    672e82323ac09b80a444410d037021cf6ff855954ae6c3fae97738b3fe5865c5
    4805d7d7d61f5594acc6571df1324df38855cfed0b83b6f0c727e197f6aea245
    8083ed34ffc0b61ef5e12adcb5e723595b77075f1b92ce128dbb9418f7fbdeab
    e69acc6ebe3b5781d9f9b0f51a6da46a4dc16a3242bfb6800c442d40f9776b52
    83aa6b5650a4383debdc832fb972ae4f745e43ae41f00cd98e82f5b372eb51ac
    
    Total reclaimed space: 1.141GB

`-f` 选项表示不需要确认，不添加这个选项，需要输入确认 `y` 才能删除。

# 九、数据卷容器 #

在数据卷的基础上，有一种相对新颖的用法，也就是数据卷容器。

数据卷容器，就是一个没有具体指定的应用，甚至不需要运行的容器。

使用它的目的，是为了定义一个或多个数据卷并持有它的引用。

创建方式 :

$ sudo docker create --name nginx-volume -v /data/nginx nginx:1.17.6

在使用数据卷容器时，不建议再定义数据卷的名称，因为可以通过对数据卷容器的引用来完成数据卷的引用。而不设置数据卷的名称，也避免了在同一 docker 中数据卷重名的尴尬。

docker 的 network 是容器间的网络桥梁，如果做类比，数据卷容器就可以算是容器间的文件系统桥梁。可以像加入网络一样引用数据卷容器，只需要在创建新容器时使 `--volumes-from` 选项即可。

# 删除已有容器
    $ sudo docker rm -f nginx
    $ sudo docker run -d --name nginx --volumes-from nginx-volume nginx:1.17.6

引用数据卷容器时，不需要再定义数据卷挂载到容器中的位置，docker 会以数据卷容器中的挂载定义将数据卷挂载到引用的容器中。

虽然看上去数据卷容器与数据卷的使用方法变化不大，但最关键的就在于其真正隐藏了数据卷的配置和定义，只需要通过数据卷容器的名称来使用它。这样意味着我们能够更轻松的实现容器的迁移。

# 十、备份和迁移数据卷 #

由于数据卷本身就是宿主操作系统中的一个目录，只需要在 docker 资源目录里找到它就可以很轻松的打包、迁移、恢复了。在 docker 里还有更优雅的解决方式。利用数据卷容器，我们还能够更方便的对数据卷中的数据进行迁移。

数据备份、迁移、恢复的过程可以理解为对数据进行打包，移动到其他位置，在需要的地方解压的过程。

### 备份 ###

在数据打包之前，先建立一个用来存放打包文件的目录。要备份数据，先建立一个临时的容器，将用于备份的目录和要备份的数据卷都挂载到这个容器上。

$ sudo docker run --rm --volumes-from nginx-volume -v /data/nginx:/data/nginx nginx:1.17.6 tar cvf /data/nginx/nginx.tar /opt/
    /opt/
    tar: Removing leading `/' from member names

其中 `--rm` 选项可以让容器在停止后自动删除，而不需要再使用容器删除命令来删除它，这对于使用一些临时容器很有帮助。

在镜像定义之后接上命令 `tar cvf /data/backup/backup.tar /opt/storage`，可以直接替换掉镜像所定义的主程序启动命令，而去执行这一条命令。

在备份后，就可以在 `/data/nginx` 下找到数据卷的备份文件 `nginx.tar`。

### 恢复 ###

如果要恢复数据卷中的数据，也可以借助临时容器完成。

$ docker run --rm --volumes-from nginx-volume -v /data/nginx:/data/nginx nginx:1.17.6 tar xvf /data/nginx/nginx.tar -C /opt

恢复的过程与备份的过程类似，只不过把打包的命令转换为解包的命令而已。

# 十一、mount 挂载 #

docker 除了使用 `-v` 来挂载之外，还可以使用 `--mount` 来挂载。

$ sudo docker run -d --name nginx --mount 'type=volume,src=nginx-volume,dst=/data/nginx,volume-driver=local,volume-opt=type=nfs,volume-opt=device=<nfs-server>:<nfs-path>' nginx:1.17.6

在 `--mount` 中，可以通过逗号分隔多个参数。其中，通过 type 可以定义挂载类型其值可以是：`bind`，`volume` 或 `tmpfs`。

另外，`--mount` 选项能够帮助实现集群挂载的定义，例如在这个例子中，我们挂载的来源是一个 NFS 目录。