用PyCharm远程调试来编写PaddlePaddle代码

亦凉 2022-06-12 11:10 346阅读 0赞

## **0、前言和相关知识** ##

PaddlePaddle运行在Docker中，在这其中我有两个疑问：  
1、怎么与Docker交互？  
paddlepaddle的book项目就是教程，里面有paddle的项目环境，可以用jupyter botebook来写代码和学习，但是总是觉得有点变扭，毕竟浏览器没有IDE那种质感，其实官方是有如下说法

以交互容器方式运行开发镜像：
    docker run -it --rm paddlepaddle/paddle:<version>-dev /bin/bash
    
    或者，可以以后台进程方式运行容器：
    docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev
    
    然后用密码 root SSH进入容器：
    ssh -p 2202 root@localhost
    
    SSH方式的一个优点是我们可以从多个终端进入容器。比如，一个终端运行vi，另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上，并在笔记本上通过SSH与其连接。

[PaddlePaddle发布的Docker镜像使用说明][PaddlePaddle_Docker] 上面内容来自这个页面

*  第一个命令就是直接用命令行进入docker容器，其中-t选项就是tty的意思，最后的一个是执行的命令（/bin/bash）
 *  第二、三个命令是一起用的额，先开启docker 的后台，再ssh远程过去

2、ssh怎么连上去？  
官方教程不是写了做法了么？为什么还那样问！？因为实际操作的时候是一直拒绝连接的，从自己试验多次之后，**发现有的镜像压根没有安装openssh-server，有的安装了，但是却没有开启**，没开服务当然连不上啊。

而远程调试之前，肯定第一步是连上Docker，不然后面都不能继续。

第一次用docker，不太了解怎么操作docker，搞了几天。了解后，我们得知道几个docker命令：

*  docker stop 容器ID 这命令是停止容器
 *  docker run \[选项\] 镜像名:tag \[命令\] \[参数\]  
    选项： -i 没有参数 给容器开启一个不间断的输入，没有这个的话，执行完命令容器就会退出  
    选项：-t 参数在命令处 给容器接入一个tty交互字符界面，参数一般是/bin/bash（个人理解，准确理解亲查阅相关资料  
    选项：-d 没有参数 开启让容器在后台运行，并在完全开启容器后，打印容器ID  
    选项：-p 本机端口:docker端口 作用是将docker端口映射到本地
 *  docker exec \[选项\] 容器ID 命令 \[参数\]
 *  docker images 列出所有镜像
 *  docker ps 列出正在运行的镜像
 *  docker ps -a 列出历史记录和情况，其中只有STATUS字段有UP×××字样才是运行中
 *  docker pull 镜像名:tag 如果不加tag名称，默认为latest这个tag
 *  docker commit 镜像名称 保存镜像状态，下次开启容器会重置，网上上最好用volume（卷）容器来存在内容（volume容器及相关雷凌不在本教程中），镜像名称格式，推荐是：用户名/项目名 或者 组织名/项目名

本教程暂时只管连上docker，内容保存的话，看看以后的有没空改一改。

下面会开始过程，在这之前，先说说简略过程：  
开启Docker镜像->检测openssh-server是否存在->是>>跳过docker commit那一步||否>>安装openssh-server->docker commit保存镜像->docker run 开启镜像->docker exec 开启openssh-server->Pycharm远程调试

## **1、下载并启动Paddle的Docker镜像** ##

### 1.1下载镜像（其实命令正常意思是运行这个镜像）： ###

正常的方式是docker pull命令拉取镜像的，但是出于简便，采用如下做法：

docker run -d -p 8888:8888 docker.paddlepaddle.org/book:0.10.0

详细说法请参看：[运行这本书][Link 1]

### 1.2启动book镜像 ###

先列出镜像：

docker images

![SouthEast][]  
  
我们选最后一个镜像：

docker run -d -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 
    
    docker ps

![SouthEast 1][]  
  
命令解释:新建docker.paddlepaddle.org/book:0.10.0镜像的容器，把docker的8888、22端口分别映射到8888、2202，并且后台运行

因为这是book项目的镜像里面开启了，jupyter notebook，所以我们可以这么链接上  
[http://localhost:8888 ][http_localhost_8888]

## **2、检测openssh-server是否存在** ##

我们直接向docker容器执行命令

docker exec d6f1c2309b7f whereis sshd 
    
    docker exec d6f1c2309b7f apt-get install openssh-server -y

这里说明一下，docker exec执行的命令其实就是普通Linux命令而已，首先是wheresi sshd，看输出没有路径信息，说明没有这个程序，接着使用apt-get命令安装openssh-server，这个docker exec命令是不能交互的，所以的使用-y代替本来要输入Y或者回车才能继续安装的确认。

![SouthEast 2][]  
  
继续添加一些配置文件：  
打开如下链接： [http://localhost:8888 ][http_localhost_8888]  
  
![SouthEast 3][]

mkdir /var/run/sshd
    echo 'root:root' | chpasswd
    sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
    sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config

![SouthEast 4][]  
  
PS:因为启动镜像的方式没有加选项-t所以只能用jupyter notebook来访问了  
如果想用交互的方式来可以用如下来开启镜像：

docker run -d -i -t -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 /bin/bash
    
    docker attach 容器id  ----如果一直卡着，按ctrl+C就进了
    
    进去执行上面的更改配置的命令
    
    ctrl+p -> ctrl+q ----退出容器

## **3、docker commit保存镜像** ##

其实docker是不推荐这样做的，因为这样子重现这个环境会变得很困难  
具体可查看[使用 Docker 容器应该避免的 10 个事情][Docker _ 10]  
但是考虑到，自己构建需要花费大量时间(墙很高)，并且这个book项目github上并没有提供Dockerfile文件

docker commit d6f1c2309b7f paddlepaddle/book-ssh:0.10.0

![SouthEast 5][]  
  
这样子在paddlepaddle/book-ssh:0.10.0这个镜像中添加了openssh-server软件，但是却不能自启动，docker中的linux系统，不能正常设置启动，docker中更讲究的是容器的启动，也就是容器启动时，应用随容器启动而启动，这就需要Dockerfile来构建整个脚本并且添加自启动。

所以我们办不到通过Dockerfile来重构镜像（新生成才对吧），来达到自启动，所以保存之后只能笨一点的方法，手动开启服务，再ssh远程了。

## **4、docker exec 开启openssh-server** ##

docker exec d6f1c2309b7f /etc/init.d/ssh start

![SouthEast 6][]  
  
**远程试试：**  
  
![SouthEast 7][]  
![SouthEast 8][]

## **5、Pycharm远程调试** ##

如果你觉得不好，也可以参考这个：[Pycharm远程开发配置与使用技巧][Pycharm]  
创建项目：

![SouthEast 9][]  
  
添加remote：  
  
![SouthEast 10][]  
  
接着点ok

会提示如下：

[2017/7/22 2:12] Upload to ssh://root@127.0.0.1:2202/usr/bin/python
    [2017/7/22 2:12] No files or folders found to process

并且项目是空的：

![SouthEast 11][]  
  
一直写java，也是第一次看到空项目，我下意识以为出错了，但是新建一个py文件，运行正确，py文件内容如下：

import paddle.v2 as paddle
    import paddle.v2.dataset.uci_housing as uci_housing
    
    
    def main():
        # init
        paddle.init(use_gpu=False, trainer_count=1)
    
        # network config
        x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector(13))
        y_predict = paddle.layer.fc(input=x, size=1, act=paddle.activation.Linear())
        y = paddle.layer.data(name='y', type=paddle.data_type.dense_vector(1))
        cost = paddle.layer.mse_cost(input=y_predict, label=y)
    
        # create parameters
        parameters = paddle.parameters.create(cost)
    
        # create optimizer
        optimizer = paddle.optimizer.Momentum(momentum=0)
    
        trainer = paddle.trainer.SGD(
            cost=cost, parameters=parameters, update_equation=optimizer)
    
        feeding = {
       'x': 0, 'y': 1}
    
        # event_handler to print training and testing info
        def event_handler(event):
            if isinstance(event, paddle.event.EndIteration):
                if event.batch_id % 100 == 0:
                    print "Pass %d, Batch %d, Cost %f" % (
                        event.pass_id, event.batch_id, event.cost)
    
            if isinstance(event, paddle.event.EndPass):
                result = trainer.test(
                    reader=paddle.batch(uci_housing.test(), batch_size=2),
                    feeding=feeding)
                print "Test %d, Cost %f" % (event.pass_id, result.cost)
    
        # training
        trainer.train(
            reader=paddle.batch(
                paddle.reader.shuffle(uci_housing.train(), buf_size=500),
                batch_size=2),
            feeding=feeding,
            event_handler=event_handler,
            num_passes=30)
    
    
    if __name__ == '__main__':
        main()

![SouthEast 12][]  
  
最后是code 0说明正常退出。

这个看不出东西，我们在PyCharm中创建jupyter notebook，就能看到效果了

![SouthEast 13][]  
  
  
![SouthEast 14][]

PyCharm会自动同步本地与ssh远程的服务器文件，还有一个重点就是当你关闭容器，东西会被清空，其实看看，拥有不同的容器ID也可以知道，就是压根就是不同实例，内容是初始值也正常啊。  
PS:要显示remotehost:

![SouthEast 15][]  
  
最后，写得很啰嗦，但是也只是想说清楚一点，不要看得稀里糊涂，我可以只写关键步骤，但是这体现不了这是过程，只体现了结果，所以我选择啰嗦。

## **6、windows辅助启动脚本** ##

第7行变为你要的名字  
第8行改为镜像名字（这个要你机器上的，你用我的这个肯定找不到镜像滴啊

效果：

![SouthEast 16][]

@echo off  
    title 远程Paddle_Book  
    setlocal enabledelayedexpansion  
    ::color 0D  
    ::mode con cols=50 lines=30 
    
    set "book=book-ssh"
    set "docker-image=paddlepaddle/book3:latest"
    echo =====================================  
    echo               docker tools  
    echo  显示镜像、容器、所有容器、运行book
    echo                 打开book
    echo =====================================  
    echo.
    rem echo.是显示一行空白 
    echo         1、run book
    echo         2、stop book
    echo         3、run http://localhost:8888
    echo         4、list images
    echo         5、list running containers
    echo         6、list hitstory containers(except %book%
    echo         c、退  出
    
    
    
    rem 开始循环
    :loop 
    echo.
    set /p var=请选择要进行的操作，然后按回车: 
    
    if "%var%" == "" set /a var=1  
    if not "%var%" == """" set var=%var:~0,1%  
    for %%t in (1,2,3,4,5,6,c) do if %%t==%var% set /a temp=-1
    
    rem 这个for循环检测输入是否是在这个set中
    rem 这个temp只是一个中间变量，检测是否存在用，在的话应该是-1,否则不是的话说明不在这些数之中
    if not %temp%==-1 set /a var=-1
    rem 如果不在set默认值为-1，之后进行提示 
    
    if %var% == c goto mExit
    rem 如果选择的是c的话直接退出 
    
    echo ------------------------------------------------  
    
    
        if "%file_path%"=="""" goto mContinue  
        REM 为"双引号就停止"
        if %var% == -1 goto mError 
        if %var% == 1 (
                        docker run --name %book% -d -p 2202:22 -p 8888:8888 %docker-image%
                        echo.
                        docker ps
                        echo.
                        echo 正在启动ssh服务
                        docker exec %book% /etc/init.d/ssh start
                      )
        if %var% == 2 (
                        echo 稍等......正在停止%book%
                        docker stop %book%
                        docker rm %book%
                      )
        if %var% == 3 start http://localhost:8888
        if %var% == 4 docker images
        if %var% == 5 docker ps
        if %var% == 6 docker ps -a
    
        if %var% == c goto mExit
    
    
    goto mContinue  
    
    :mError 
    echo 输入操作数有误
    goto mContinue
    
    :mContinue 
    goto loop  
    
    pause  
    
    :mExit
    echo 稍等......正在停止%book%
    docker stop %book%
    docker rm %book%

[PaddlePaddle_Docker]: http://doc.paddlepaddle.org/release/0.10.0/doc_cn/getstarted/build_and_install/docker_install_cn.html
[Link 1]: https://github.com/PaddlePaddle/book/blob/develop/README.cn.md#运行这本书
[SouthEast]: /images/20220612/b7ab800779324f81874cd532808ae9a0.png
[SouthEast 1]: /images/20220612/60507777e8cc4d7dbbb6782222380071.png
[http_localhost_8888]: http://localhost:8888
[SouthEast 2]: /images/20220612/59f05c33956d4027892ae0791dade29e.png
[SouthEast 3]: /images/20220612/d3767997421f4a679b1b90b5864ad804.png
[SouthEast 4]: /images/20220612/a024916304be4172932c20c9fc770299.png
[Docker _ 10]: http://www.linuxidc.com/Linux/2016-03/128977.htm
[SouthEast 5]: /images/20220612/f29b9d258a2b4c53a4c6e660af6b6a3b.png
[SouthEast 6]: /images/20220612/b89f748544514152a3d30cce1ac23d3a.png
[SouthEast 7]: /images/20220612/9284046dd9104fd39e7c06ee01151419.png
[SouthEast 8]: /images/20220612/f2c041e7ad234570a41f23261951c514.png
[Pycharm]: http://jingyan.baidu.com/article/454316ab6c9007f7a7c03adf.html
[SouthEast 9]: /images/20220612/0b4d5d2c26fa4bcca76e6d09218c5786.png
[SouthEast 10]: /images/20220612/4b46000c34bb40c3ba17c045b2b022b2.png
[SouthEast 11]: /images/20220612/21a9b1ac4e6f45558ce52867f78be2c6.png
[SouthEast 12]: /images/20220612/f01333e9d90c47dd957dd9223f4e4f83.png
[SouthEast 13]: /images/20220612/1cdb772ef31c48fb8f9a48afbff49343.png
[SouthEast 14]: /images/20220612/f15ec186cd16427f94da86a3d29bf2de.png
[SouthEast 15]: /images/20220612/e2654fc0b4714a18bd15c7800852e63b.png
[SouthEast 16]: /images/20220612/9fab984e3bd74eb4bd60950516744413.png