思腾合力＜作业提交＞及＜连接各种服务＞的说明

曾经终败给现在 2022-11-27 00:56 95阅读 0赞

### 目录 ###

*   *  使用手册
     *  创建作业
     *   *   *  1. 创建作业的 command 命令行的配置
             *  2. 资源的配置
             *  3. 挂载点
     *  连接服务
     *   *   *  其他内容
             *  查看GPU当前的使用情况
             *  GPU内存溢出情况

[https://cloud.tencent.com/developer/article/1683402][https_cloud.tencent.com_developer_article_1683402]

## 使用手册 ##

已存在OneNote中

## 创建作业 ##

这里仅仅记录创建作业的要点

#### 1. 创建作业的 command 命令行的配置 ####

在作业提交界面的command命令行里输入如下三行即可

cd ~
    bash setup.sh # 注意setup.sh这里面包含几乎我们需要开启的所有内容：jupyter、tensorboard、vnc
    sleep infinity

下面的内容是setup.sh脚本中的内容

cd ~
    # 激活virtualenv创建的虚拟环境tf2_py_3，这是下面其他命令运行的前提
    source environments/tf2_py3/bin/activate
    
    tensorboard --logdir=$TENSORBOARD_PATH --port=$PAI_CONTAINER_HOST_tensorboard_http_PORT_LIST >> tb.log &
    
    jupyter notebook --allow-root --no-browser --ip 0.0.0.0 --port=$PAI_CONTAINER_HOST_jupyter_http_PORT_LIST --NotebookApp.token='' --NotebookApp.password='' >> jn.log &
    
    vnc4passwd <<!
    $VNC_PASSWD
    $VNC_PASSWD
    !
    vnc4server -geometry 1920x1080 -geometry 1024x768 -depth 24 -dpi 96 -nolisten tcp -bs -ac -rfbport $PAI_CONTAINER_HOST_vnc_PORT_LIST
    noVNC/utils/launch.sh --listen $PAI_CONTAINER_HOST_vnc_http_PORT_LIST --vnc localhost:$PAI_CONTAINER_HOST_vnc_PORT_LIST  >> vnc.log &

同时我们要添加几个端口

<table> 
 <thead> 
  <tr> 
   <th>端口名称</th> 
   <th>端口号</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tensorboard_http</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>jupyter_http</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>vnc_http</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>vnc</td> 
   <td>0</td> 
  </tr> 
 </tbody> 
</table>

注意：端口号为零，表示随机选端口

#### 2. 资源的配置 ####

请注意选择的镜像大小  
根据镜像的大小选择：`容器空间`  
GPU数量、CPU核心数、内存大小根据实际情况选择，够用即可

#### 3. 挂载点 ####

一般是把`文件管理`下的某一文件夹下的所有文件挂载到容器的`/root/data`文件夹下  
这一点必须要利用号，可以说挂载点下的挂载文件将会是我们之后活动的主战场

## 连接服务 ##

当运行成功后  
接下来要进行的就是连接服务

1.  ssh 连接服务
2.  jupyter 连接服务
3.  pycharm 连接服务  
    这些连接服务中，pycharm步骤相对较多，请参考官方说明：  
    [https://github.com/sitonholy/scm/blob/master/notes/submit\_jobs.md][https_github.com_sitonholy_scm_blob_master_notes_submit_jobs.md]

#### 其他内容 ####

*  作业提交网址：<219.216.99.4>
 *  harbor仓库的地址：<219.216.99.4:8888>
 *  服务器联网地址：<219.216.99.4:6901>
 *  已制作完成完成的镜像：`219.216.99.4:8888/zhengyan/ubuntu18.04_cuda10.1_cudnn7_py3.6_tf2.3_torch1.6:v1.2`

#### 查看GPU当前的使用情况 ####

查看GPU的使用情况

*  `nvidia-smi`
 *  `watch -n <秒数> nvidia-smi`

查看GPU当前进程

*  `sudo fuser -v /dev/nvidia*`

#### GPU内存溢出情况 ####

当内存资源确实不足时，很悲哀，内部协调吧  
当GPU内存充足时，依然发生此种现象，可以考虑下下面的问题有没有注意：  
注意pytorch在test时，一定要加上

with torch.no_grad():
      # test process

[https_cloud.tencent.com_developer_article_1683402]: https://cloud.tencent.com/developer/article/1683402
[https_github.com_sitonholy_scm_blob_master_notes_submit_jobs.md]: https://github.com/sitonholy/scm/blob/master/notes/submit_jobs.md