AI工程部署（一）：Docker微服务【标准工作流：①构建阶段（编写Dockerfile，构建镜像；将镜像push到dockerhub）；②部署阶段（从dockerhub上pull镜像； run）】

末蓝、 2023-10-01 18:05 3阅读 0赞

## 一、Docker容器 v.s. 虚拟机 ##

想让代码运行起来，首先需要干什么？**配环境**

*  程序依赖很多（Python库、linux包、C++库等）、版本又各不相同
 *  而且，可能面临开发在windows、部署在linux这种尴尬
 *  而且，你刚配好环境，boss又给你两台新机器，让你再配一遍

### 1、虚拟机 ###

将程序和环境封装到**虚拟机**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

*  用VMware，在windows系统下装个Ubuntu
 *  然后在Ubuntu里配好环境，保存快照
 *  以后就用此快照，在任意机器的VMware里还原环境

虚拟机好像挺美，But，面临很多问题

1.  资源占用多
    
     *  虚拟机自己的启动就需要几百兆内存；
     *  虚拟机会独占一部分内存和硬盘空间，即便程序仅仅是个hello world；
2.  冗余步骤多
    
     *  虚拟机是完整的操作系统，系统级别的操作无法跳过，比如用户登录
3.  启动慢
    
     *  启动虚拟机，就像电脑开机，需要几分钟时间

### 2、Docker（简单版的虚拟机） ###

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center]  
如logo所示，Docker就是一个集装箱，将程序及其环境打包在一起；

1.  打包程序的环境依赖到集装箱；
2.  将代码也放进去；
3.  在任何机器，只要装了Docker，拆箱，运行程序就行了；

### 3、Docker容器 v.s. 虚拟机 ###

相比于虚拟机，docker容器是一种非常轻量的虚拟化技术；

一台主机运行成百上千个Docker容器是家常便饭；

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]  
Docker概念：

*  镜像（image）：一个静态文件，里面保存了代码及其环境；
 *  容器（image）：运行镜像，产生容器，容器里面就可以跑我们的程序；（多次运行同一个镜像产生多个容器，可用于多进程并发）
 *  仓库（registry）：托管镜像文件的网站，
    
     *  公开的 https://hub.docker.com/
     *  私有的 每个公司有自己的dockerhub

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_14_color_FFFFFF_t_70_g_se_x_16_pic_center]

## 二、Docker标准工作流 ##

![在这里插入图片描述][163d6a24a4ec45caaa3c1f2d047567cc.png_pic_center]  
![在这里插入图片描述][c45577f53edb4722a6615fc6896b0a2d.png_pic_center]

### 1、构建阶段 ###

#### 1.1 编写Dockerfile ####

编写Dockerfile文件，指定基础镜像、依赖安装、添加代码、服务启动命令等

# 声明基础镜像版本，选择pytorch官方镜像（执行容器或创建容器的时候会从hub.docker网站将镜像拉取下来）
    # 如果base镜像pull得很慢，可以更新国内的镜像源，比如：https://reg-mirror.qiniu.com
    FROM pytorch/pytorch:1.3-cuda10.1-cudnn7-runtime
    
    # 声明维护者
    MAINTAINER old-wei <old-wei@gmail.com>
    
    # 首先拷贝requirements.txt进docker
    COPY ./requirements.txt /requirements.txt
    # 安装python依赖（如果安装较慢，请更换国内pip源：-i https://pypi.douban.com/simple/）
    RUN pip install -r /requirements.txt
    
    # 将当前目录里的所有代码拷贝到目标docker容器对应的data/app目录
    COPY . /data/app
    
    # 设置默认的工作目录
    WORKDIR /data/app
    
    # 设置系统编码为utf-8，防止中文乱码
    ENV LANG C.UTF-8
    
    # 设置暴露8000端口
    EXPOSE 8000
    
    # CMD（command命令）启动http服务，（也可以选择启动rpc服务，或者两个同时启动）
    CMD cd /data/app/scripts && sh start_http_server.sh

**测试不利用缓存**：将安装requirements.txt放到COPY 代码之后

# 声明基础镜像版本，选择pytorch官方镜像
    FROM pytorch/pytorch:1.3-cuda10.1-cudnn7-runtime
    
    # 声明维护者
    MAINTAINER old-wei <old-wei@gmail.com>
    
    # 将当前目录里的所有代码拷贝到目标docker容器对应的data/app目录
    COPY . /data/app
    
    # 首先拷贝requirements.txt进docker
    COPY ./requirements.txt /requirements.txt
    # 安装python依赖（如果安装较慢，请更换国内pip源：-i https://pypi.douban.com/simple/）
    # RUN pip install -r /requirements.txt -i https://pypi.douban.com/simple/
    RUN pip install -r /requirements.txt
    
    
    # 设置默认的工作目录
    WORKDIR /data/app
    
    # 设置系统编码为utf-8，防止中文乱码
    ENV LANG C.UTF-8
    
    # 设置暴露8000端口
    EXPOSE 8000
    
    # CMD（command命令）启动http服务，（也可以选择启动rpc服务，或者两个同时启动）
    CMD cd /data/app/scripts && sh start_http_server.sh

#### 1.2 编写build.sh ####

基于Dockerfile，通过docker build命令构建镜像；

img_name=api-segment  # 镜像名，即项目名
    img_tag=`date '+%Y%m%d_%H%M%S'`  # 声明镜像tag为 日期+时间（实践中需要关联上git的commit-id）
    
    docker build -f Dockerfile -t ${
        img_name}:${
        img_tag} .

运行sh build.sh，构建镜像

#### 1.3 上传自定义的docker镜像 ####

通过docker push，将镜像推到dockerhub；

#### 1.4 手动docker run，测试服务hello路由 ####

docker run ****************************

默认执行Dockerfile文件中的CMD命令。

### 2、部署阶段 ###

确保镜像已在本地，从远程pull镜像；  
docker run命令，输入服务名、镜像名、端口映射、目录挂载、环境变量等；  
待容器内服务启动成功，访问http接口

可以docker exec进入容器，排查问题；

可将容器当成一个简单版的虚拟机，执行各种linux命令；

### 3、使用经验 ###

1.  镜像是分层构建的，善于利用缓存，加快构建速度；当前层及以前，命令或内容不变，则利用缓存
2.  base镜像，推荐官方提供的基础镜像，方便、靠谱；比如pytorch或tensorflow官方的base镜像
3.  容器即服务，将容器就等同于服务：容器起来，服务起来；容器退出，服务退出
4.  容器是单进程模式，不推荐使用多进程；如需使用多进程并发，推荐起多个容器；
5.  容器无状态，重要的数据或模型要挂载出来，防止数据丢失

## 三、构建dev镜像 ##

dev镜像的主要目的是为了【跑测试】和【开发调试】

### 1、编写docker/Dockerfile.dev ###

FROM pytorch/pytorch:1.3-cuda10.1-cudnn7-runtime
    MAINTAINER old-wang <old-wang@gmail.com>
    
    COPY ./requirements.txt /requirements.txt
    RUN pip install -r /requirements.txt
    
    # 安装ssh，用于远程debug（在本地运行服务器上的的python解释器，需借助ssh）
    # 实际工作中，本地环境一般不具备各种gpu硬件资源，无法运行gpu方面的程序。此时必须借助远程debug。
    RUN apt-get update --fix-missing && apt-get install --fix-missing -y openssh-server
    RUN mkdir -p /var/run/sshd
    RUN echo 'root:root' | chpasswd
    RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
    RUN echo 'PermitRootLogin yes' >> /etc/ssh/sshd_config
    RUN sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
    ENV NOTVISIBLE "in users profile"
    RUN echo "export VISIBLE=now" >> /etc/profile
    
    COPY . /data/app
    WORKDIR /data/app
    ENV LANG C.UTF-8
    EXPOSE 8000
    
    CMD cd /data/app/ && python tests/unit_tests/env/run_unit_tests.py

### 2、构建测试镜像 ###

build\_dev.sh

img_name=api-segment:dev
    
    docker build -f docker/Dockerfile.dev -t ${
        img_name} .

## 四、Docker总结 ##

1.  Docker就是一个集装箱，将程序及其环境打包在一起；
2.  相比于虚拟机，docker容器是非常轻量，一台主机运行成百上千个容器是家常便饭；
3.  镜像：保存代码及其环境的文件；容器：运行镜像，产生容器，容器里跑我们的程序；仓库：托管镜像文件的网站；
4.  熟练掌握docker run、docker exec、docker build等基本命令

--------------------

参考资料：  
[生产中的NLP：创建Docker镜像][NLP_Docker]  
[基于Docker的Python开发][Docker_Python]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/680fc1caa3b4438aae065590377c3a3c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/ba8b61e0087e418b82822cd1f4728ca6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_18,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: https://img-blog.csdnimg.cn/16690b0b835b4dadbf6297b1ca832c3b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_14_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/a9c939b5763d43c69f79490bbf8d2c48.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_14,color_FFFFFF,t_70,g_se,x_16#pic_center
[163d6a24a4ec45caaa3c1f2d047567cc.png_pic_center]: https://img-blog.csdnimg.cn/163d6a24a4ec45caaa3c1f2d047567cc.png#pic_center
[c45577f53edb4722a6615fc6896b0a2d.png_pic_center]: https://img-blog.csdnimg.cn/c45577f53edb4722a6615fc6896b0a2d.png#pic_center
[NLP_Docker]: https://panchuangai.blog.csdn.net/article/details/108877805
[Docker_Python]: https://panchuangai.blog.csdn.net/article/details/108988455