『docker笔记』通过docker搭建深度学习环境！

怼烎@ 2022-12-18 15:59 154阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>通过docker搭建深度学习环境！</font></td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*  一. docker的基础操作
 *   *  1.1. docker介绍
     *  1.2. docker案例测试
 *  二. centos安装docker第一步
 *   *  2.1. 安装前提条件
     *  2.2. 安装docker依赖环境
     *  2.3. 添加阿里云的软件源
     *  2.4. 更新yum缓存(为了保证能更新和下载需要的服务：如docker)
 *  三. centos安装docker第二步
 *   *  3.1. 安装并启动docker
     *  3.2. 启动Docker服务
     *  3.3. 设置开机自启
 *  四. docker搭建pytorch环境
 *   *  4.1. 拉取pytorch镜像
     *  4.2. 创建并进入容器
     *  4.3. 打包新镜像
     *  4.4. 加载新镜像
 *  五. 关于宿主机卸载docker服务
 *  参考文章

# 一. docker的基础操作 #

## 1.1. docker介绍 ##

>  *  `docker` 可以理解成一个`虚拟机`，只不过它是主要应用在`linux`和后台应用的这样的一个虚拟机。它和常见的VMware有许多相似的地方。是一种新兴的虚拟化方式，`docker` 跟传统的虚拟化方式相比具有众多的优势。

>  *  `docker` 内容整理如下：
> 
> ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16][]

>  *  `docker`重要的两个核心为镜像和容器，有JAVA基础的小伙伴们可以理解为镜像就是JAVA中的类，容器为相关类的对象。
>  *  一个镜像可以创建多个容器。有过电脑装系统经验的应该知道系统都是ISO镜像文件，当系统安装完成之后，我们看到的界面就相当于一个容器。也可以这样理解：**镜像就是我们在创建虚拟机之前需要下载的镜像文件，比如`iso`文件。容器可以类别为正在运行的虚拟机**。
>  *  其中`tar`文件就类似于`vmware`使用过程中的`vmdk`文件，docker可以直接将一个镜像保存为`tar`文件，然后给别人，别人通过`load`指令可以重新加载成一个镜像，然后通过`run`指令就可以启动一个正在运行的虚拟机(容器)。
>  *  其中`Dockerfile`是一个配置文件，通过写"如何构建"的步骤，来指定一个镜像是如何构建的，通过`docker build`的指令可以将`dockerfile`构建成一个镜像。
>  *  另外`docker`比较牛逼的就是它有一个远程的仓库，这个仓库保存了很多镜像，包括一些共有的`(ubuntu)`还有第三方已经做好的，如`Nginx，MySQL，Tomcat，ElasticSearch`等等。
>  *  可以在这个网址直接进行演练：[https://www.docker.com/play-with-docker][https_www.docker.com_play-with-docker]

>  *  **服务器202建立docker jupyter虚拟环境！**

docker run --oom-kill-disable=true -m 16g --cpus=8 -p 60791:8080 -p 60792:60891 
    \ -v /data/aibox-notebook/instance_new/2021/08/19/ins20210819423b4683bd6fc9d85d1db6b1:/data/private 
    \ -v /data/aibox-notebook/share:/data/share 
    \ -d docker.dtwave-inc.com/aibox/jupyterlab-centos7-cuda10.1:v2.1.0 
    \ root 8080 1 4 xx root

docker run --oom-kill-disable=true -m 16g --cpus=8 -p 60791:8080 -p 60792-60891:60792-60891
    \ -v /data/aibox-notebook/instance_new/2021/08/19/ins20210819423b4683bd6fc9d85d1db6b1:/data/private 
    \ -v /data/aibox-notebook/share:/data/share 
    \ -d docker.dtwave-inc.com/aibox/jupyterlab-centos7-cuda10.1:v2.1.0 
    \ root 8080 1 4 xx root

>  *  `-p 60791:8080`：相当于本地物理机上的60791端口和服务器上的8080机器映射。
>  *  `-p 60792:60891`：相当于本地物理机上的60791端口和服务器上的8080机器映射。
>  *  `-p 60792-60798:60892-60898`：相当于本地物理机上的60791端口和服务器上的8080机器映射。

docker exec -it 69f55048c7c5 /bin/bash

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

## 1.2. docker案例测试 ##

>  *  MAC m1芯片对应的docker下载链接：[https://www.docker.com/blog/released-docker-desktop-for-mac-apple-silicon/][https_www.docker.com_blog_released-docker-desktop-for-mac-apple-silicon]

devinzhang@kaifang ~ % docker pull nginx   # 默认就是最新版本就是docker pull nginx:latest
    Using default tag: latest
    latest: Pulling from library/nginx
    d10c227306ce: Pull complete 
    3b3450d77825: Pull complete 
    976f19f897eb: Pull complete 
    cf2a5bf96bb5: Pull complete 
    218cda107c30: Pull complete 
    49f49174f1f4: Pull complete 
    Digest: sha256:a05b0cdd4fc1be3b224ba9662ebdf98fe44c09c0c9215b45f84344c12867002e
    Status: Downloaded newer image for nginx:latest
    docker.io/library/nginx:latest
    devinzhang@kaifang ~ %

>  *  可以通过`docker images`进行显示：

devinzhang@kaifang ~ % docker images
    REPOSITORY   TAG       IMAGE ID       CREATED      SIZE
    nginx        latest    a5a30f2cd5e8   5 days ago   126MB

>  *  通过`docker run nginx`指令将镜像运行成一个正在运行的容器(虚拟机)，但是这样运行知识简单的运行一个服务，我们通过制定一些参数：比如 `-d` 让容器后台运行。`-p hostPort:containerPort` 来映射本机的指定端口到虚拟机的指定端口，`-v`是映射文件的。

devinzhang@kaifang ~ % docker run -d -p 80:80 nginx
    baf59af8e98bf262473c7a4136b928831619654b4e718a79e684823922a0351c

>  *  通过`docker ps`可以查看正在运行的容器：

devinzhang@kaifang ~ % docker ps
    CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS                               NAMES
    baf59af8e98b   nginx     "/docker-entrypoint.…"   30 seconds ago   Up 29 seconds   0.0.0.0:80->80/tcp, :::80->80/tcp   youthful_raman

>  *   可以访问到`docker`服务：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

>  *   当然我们启动多个`docker`服务，但是不能用同一个本机端口。

devinzhang@kaifang ~ % docker run -d -p 81:80 nginx
    2717b71470e9fbd5c0d8f5f89429395cd4a4c50b35ee405b37d8d0e27b1c0c09
    devinzhang@kaifang ~ % docker ps
    CONTAINER ID   IMAGE     COMMAND                  CREATED         STATUS         PORTS                               NAMES
    2717b71470e9   nginx     "/docker-entrypoint.…"   4 seconds ago   Up 3 seconds   0.0.0.0:81->80/tcp, :::81->80/tcp   hopeful_visvesvaraya
    baf59af8e98b   nginx     "/docker-entrypoint.…"   5 minutes ago   Up 5 minutes   0.0.0.0:80->80/tcp, :::80->80/tcp   youthful_raman

>  *  例如我们对`nginx`做一些修改，我们可以`docker exec -it` 然后指定这个`nginx`的`id`(容器`id`)，比如第一个27开头的，只要能区分，只要简单的几个开头就行。通过`bash`进去，进去之后可以看到前面`root@***`，说明已经进入到这个`nginx`容器了。

devinzhang@kaifang ~ % docker exec -it 27 bash
    root@2717b71470e9:/#

>  *  然后将`nginx`这个默认文件，`/usr/share/nginx/html` 中的index，我们直接修改这个文件。

root@2717b71470e9:/usr/share/nginx/html# ls
    50x.html  index.html
    root@2717b71470e9:/usr/share/nginx/html# echo "hello nginx" > index.html

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

>  *  我们通过`docker rm -f` 强制删除我们创建的81端口的这个容器，因为这个暂时用不到。

devinzhang@kaifang ~ % docker rm -f 2717b71470e9
    2717b71470e9

>  *  然后我们通过`docker commit` 指定一个镜像的名字，比如叫`ml`，然后通过docker images可以查看到。通过`docker run -d -p 81:80 ml`重新创建一个容器。

devinzhang@kaifang ~ % docker ps                
    CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS                               NAMES
    baf59af8e98b   nginx     "/docker-entrypoint.…"   24 minutes ago   Up 24 minutes   0.0.0.0:80->80/tcp, :::80->80/tcp   youthful_raman
    devinzhang@kaifang ~ % docker commit baf59 ml
    sha256:e5d06f555364c32dbdbd496b93573bfc741c406e43e0c8c8befedf0f541831fd
    devinzhang@kaifang ~ % docker images
    REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
    ml           latest    e5d06f555364   11 seconds ago   126MB
    nginx        latest    a5a30f2cd5e8   5 days ago       126MB
    devinzhang@kaifang ~ % docker run -d -p 81:80 ml
    7b2f67ab813263824f6fcc8054350540ce7410ea409206d1527d7f5c7aeeddc7

>  *  还有一种方式就是通过`Dockerfile`，这里新建一个dockerfile文件，在文件中按照`dockerfile`的语法格式。

# vim Dockerfile
    FROM nginx  # From指令指定docker镜像构建的基础镜像nginx。
    ADD ./ /usr/share/nginx/html/  # 将当前目录下index.html拷贝到指定目录下。
    # vim index.html
    zhangkaifang

>  *  然后通过`docker build -t ml .`构建镜像。最后要加一个`.`指定的是当前目录下的`Dockerfile`文件。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

>  *  可以通过`docker save`指令将一个镜像保存到一个文件中，比如下面`969`这个镜像保存到一个文件里，比如`ml.tar`，不能通过`ID`，需要通过`docker`的名字。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

>  *  然后`push`的话需要自己去`dockerhub`或者其他官方仓库注册，这里不做介绍了。

>  *  参考链接：[https://www.bilibili.com/video/BV1R4411F7t9?from=search&seid=6767761537084279043&spm\_id\_from=333.337.0.0][https_www.bilibili.com_video_BV1R4411F7t9_from_search_seid_6767761537084279043_spm_id_from_333.337.0.0]
>  *  [https://skysys.blog.csdn.net/article/details/111148908  
>     ][https_skysys.blog.csdn.net_article_details_111148908]

# 二. centos安装docker第一步 #

>  *  docker版本分为CE（社区免费版）和EE（企业版，安全），主要演示安装CE版的步骤。

## 2.1. 安装前提条件 ##

>  *  docker 要求 CentOS 系统的内核版本高于 3.10 ，首先验证你的服务器是否支持Docker！
>  *  通过 `uname -r` 或者 `uname -a` 命令查看当前的内核版本。可以看到我的服务器是`4.12.0`，是支持docker的。

[deploy@ai-node-0 kaifang]$ uname -a
    Linux 2978fa6fe712 4.12.0-rc5 #1 SMP Wed Jun 12 22:27:41 CST 2019 x86_64 x86_64 x86_64 GNU/Linux
    [deploy@ai-node-0 kaifang]$ uname -r
    4.12.0-rc5

## 2.2. 安装docker依赖环境 ##

>  *  检查并清除系统残余项

[deploy@ai-node-0 kaifang]$ sudo yum remove docker \
                              docker-client \
                              docker-client-latest \
                              docker-common \
                              docker-latest \
                              docker-latest-logrotate \
                              docker-logrotate \
                              docker-selinux \
                              docker-engine-selinux \
                              docker-engine

>  *  安装下载docker依赖的工具

[deploy@ai-node-0 kaifang]$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2

## 2.3. 添加阿里云的软件源 ##

[deploy@ai-node-0 kaifang]$ sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

>  *  以后每个软件都优先从阿里云的软件库中下载，如果阿里云仓库没有，会去docker.hub中下载。（与maven仓库同理）

## 2.4. 更新yum缓存(为了保证能更新和下载需要的服务：如docker) ##

[deploy@ai-node-0 kaifang]$ sudo yum makecache fast

# 三. centos安装docker第二步 #

## 3.1. 安装并启动docker ##

>  *  docker依赖环境搭建好之后，安装并启动Docker。由于需要下载并安装docker，有的机器会有点慢，请耐心等待！

[deploy@ai-node-0 kaifang]$ sudo yum -y install docker-ce

## 3.2. 启动Docker服务 ##

[deploy@ai-node-0 kaifang]$ sudo systemctl start docker
    [deploy@ai-node-0 kaifang]$

>  *  以上我们已经将docker安装好了，接下来测试下docker是否可以顺利启动：

[deploy@ai-node-0 kaifang]$ docker info
    Containers: 0
     Running: 0
     Paused: 0
     Stopped: 0
    Images: 0
    Server Version: 18.09.0
    Storage Driver: overlay2
     Backing Filesystem: extfs
     Supports d_type: true
     Native Overlay Diff: false
    Logging Driver: json-file
    Cgroup Driver: cgroupfs
    ......
    ......

>  *  我们可以看到Docker已经启动成功，而且容器与镜像数都为0，是一个全新的docker服务

## 3.3. 设置开机自启 ##

>  *  非必设项，根据自己习惯设置

[deploy@ai-node-0 kaifang]$ sudo systemctl enable docker
    Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.
    [deploy@ai-node-0 kaifang]$

>  *  到此为止，Docker就已经下载并安装完成！

# 四. docker搭建pytorch环境 #

## 4.1. 拉取pytorch镜像 ##

>  *  从[https://hub.docker.com/][https_hub.docker.com]查找需要的镜像，例如我需要的是cuda9.0 pytorch4.1

sudo docker pull pytorch/pytorch:0.4.1-cuda9-cudnn7-runtime

## 4.2. 创建并进入容器 ##

[deploy@ai-node-0 kaifang]$ docker run --rm -it -v /path/to/some/folder:/workspace --ipc=host 7b329a33d981 /bin/bash
    root@a0a102be1ce9:/workspace# ls

## 4.3. 打包新镜像 ##

>  *  在容器内做修改后打包镜像并压缩

docker commit -a "yfraquelle" <container_id> ioid_env:v1
    docker save -o yfraquelle_ioid_env_v1.tar ioid_env:v1

## 4.4. 加载新镜像 ##

docker load -i yfraquelle_ioid_env_v1.tar

# 五. 关于宿主机卸载docker服务 #

>  *  移除docker-ce服务

sudo yum remove docker-ce

>  *  删除Docker依赖项

sudo rm -rf /var/lib/docker

# 参考文章 #

>  *  [**Linux安装Docker教程（CentOS详细教程）**][Linux_Docker_CentOS]
>  *  [**使用Docker高效搭建开发环境（详细教程）**][Docker]
>  *  [使用docker run启动并进入一个容器][docker run]
>  *  [使用docker搭建深度学习环境-从零开始(上)][docker_-]
>  *  [使用docker搭建深度学习环境-从零开始(下)][docker_- 1]
>  *  [**通过docker的pytorch镜像打包自定义环境**][docker_pytorch]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20221120/024d1f40a96f4b4eabd0195e6d1faa68.png
[https_www.docker.com_play-with-docker]: https://www.docker.com/play-with-docker
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20221120/68e72514d07f48de81056ed8a93c73f5.png
[https_www.docker.com_blog_released-docker-desktop-for-mac-apple-silicon]: https://www.docker.com/blog/released-docker-desktop-for-mac-apple-silicon/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20221120/f9f2951fa8004b9ea931d384ca0223bb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20221120/c0bef8e02e664466b40895d2e40b151e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20221120/60df7fd8f55f416484ba823b40adb534.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20221120/0cbcae400c7543c3bafdc93a06ba20fe.png
[https_www.bilibili.com_video_BV1R4411F7t9_from_search_seid_6767761537084279043_spm_id_from_333.337.0.0]: https://www.bilibili.com/video/BV1R4411F7t9?from=search&seid=6767761537084279043&spm_id_from=333.337.0.0
[https_skysys.blog.csdn.net_article_details_111148908]: https://skysys.blog.csdn.net/article/details/111148908
[https_hub.docker.com]: https://hub.docker.com/
[Linux_Docker_CentOS]: https://blog.csdn.net/weixin_39835887/article/details/84139929
[Docker]: https://blog.csdn.net/weixin_39835887/article/details/84516595?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.compare&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.compare
[docker run]: https://www.cnblogs.com/mrnx2004/p/11691156.html
[docker_-]: https://blog.csdn.net/ambm29/article/details/96151358
[docker_- 1]: https://blog.csdn.net/ambm29/article/details/96278696
[docker_pytorch]: https://blog.csdn.net/y_f_raquelle/article/details/106900744