如何在PAI平台跑实验

我不是女神ヾ 2022-03-07 16:05 375阅读 0赞

# PAI平台使用教程 #

--------------------

*  build image
 *  upload & run
 *  storage system

--------------------

### build image ###

首先去官网下载docker windows，如果系统不适配，就用官网的docker tools辅助安装。安装后，右下角任务栏找到小鲸鱼图案，右键点击setting。在左边的栏目里面找到Daemon选项，进去后就会看到我们什么都没有配置，所以按照下面的信息配置docker：

"registry-mirrors":["http://f1361db2.m.daocloud.io"]
    "insecure-registries":["192.168.193.253:5000"]

配置好后打开cmd或其他命令行软件，用下面的指令下载基础镜像到本地并运行：

docker pull 192.168.193.253:5000/pytorch:v0.4.0
    #此镜像为pytorch0.4版本的基础镜像
    docker image ls
    #查看目前本地所拥有的镜像
    docker container run -ti <Image ID>
    #从查看过程中可以得到Image ID，输到对应位置，运行镜像

运行镜像后就进入linux的terminal了，你拥有root权限，可以进行任何操作。在其中配置好你想要的环境  
弄完之后输入***exit***退出  
我们运行下面几条指令，把刚刚弄好的镜像上传到服务器：

docker container ls -l
    #查看刚刚编辑的镜像，主要记住其container ID
    docker container commit <container ID>
    #把镜像commit一下，返回一个sha256编码就表示成功了
    docker image ls
    #查看一下刚刚commit的镜像id 刚刚commit的名字为none，记住其image id
    docker image tag <ImageID> <name>:<tag>
    #用这个命令给镜像起名字，注意name 和 tag 要起成以下格式：192.168.193.253:5000/zhangyu:0.3 IP必须有，zhangyu那部分填自己的，冒号后面为tag，你可以当作版本号。
    docker push <Image 名字>
    #上传你的镜像

至此镜像就配置完了，下面就可以上传代码，跑代码了

### upload & run ###

首先在本地python环境安装常瑞师兄编写的[pai][]包，常瑞师兄在github上写的比较详细，具体操作按照上面来，我在这里主要介绍一下configuration中的注意事项，所涉及的都是需要改的，其余可以不予理睬。  
jobname：是我们提交任务的名称，同时平台会在root下建立一个此名称的文件夹，运行其中代码。初次我们起名为*\**\*\_，上传时平台会在\_后随即给你添数字，如果你不按照此格式，他会把你起的名称覆盖。  
image：填你要使用的镜像名称  
gputype：填你要使用的gpu 目前有两种 geforce1080ti geforce2080ti  
cpunumber：填你要申请的cpu数量，一般3就足够了  
memoryMB：一般4、5g就可  
shmMB：影响读数据速度，可以填1024或2048，填多了没用  
gpuNumber：这里填你要申请的gpu数量，一般都为1个，如果需要并行跑，可以申请多个  
command：/bin/bash /root/mount.sh 这个必输，其余的就填你要运行的指令。

### storage system ###

平台采用挂载的形式，把服务器的部分存储空间挂载到了平台上，挂载过后的位置为：/root/data/  
里面存放/root/data/datasets/数据集，/root/data/models/模型库，/root/data/ouputs/存一些代码的输出  
我们可以用WinSCP或XTerm连文件系统：  
ip为192.168.193.253 用户名为fileserver 密码 123456

[pai]: https://github.com/GeoffreyChen777/pypai