在集群服务器进行自定义数据集训练记录过程 TensorBoard logging requires TensorBoard with Python summary writer installed.

梦里梦外; 2022-10-23 03:56 13阅读 0赞

先记录解决办法：  
TensorBoard logging requires TensorBoard with Python summary writer installed. This should be available in 1.14 or above.  
办法：  
pip install tensorflow-tensorboard1.5.1  
pip install tensorboard1.14  
pip install imgaug  
升级：  
python3 -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple

python3 train.py --model\_def config/yolov3-custom.cfg --data\_config config/custom.dat  
解压：  
unzip dd2.zip  
强制删除文件  
rm txt -rf  
运行中：  
![在这里插入图片描述][20210319171008246.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]

因为在自己的ubuntu上面跑实在慢炸天，一百张图片超过两个小时？老师给了一个集群服务器的账号，大概还是自己太笨，弄了三天才能把之前跑成功的代码在服务器上跑成功。  
用的是：浪潮AiStation智能计算平台  
http://svrproject.tpddns.net/aistation/howto.html

一开始一直在折腾shell无法登录，后来仔细看平台文档才知道自己写错了主机名，而且使用开发环境根本不需要用到xshell…  
过程：  
1.登录web平台可视化的网站  
2.新建开发环境，选择镜像（自己选的是pytorch,但不清楚不同版本的区别）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]  
3.文件管理中上传自己本地的压缩文件，用命令进行压缩（不用命令的话无法压缩成功）  
4.在开发环境详情里进入shell终端  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 2]  
jupyter里面可以自由地编辑文件，记得点击保存  
shell终端里面安装好需要的库（自己先升级了pip然后安装了一个img之类的包) 很多其他的包环境里面都配置好了，很方便。  
训练了一百个epoch:  
python3 detect.py --image\_folder data/custom/dd --model\_def config/yolov3-custom.cfg --class\_path data/custom/classes.names --checkpoint\_model checkpoints/yolov3\_ckpt\_99.pth --weights\_path checkpoints/yolov3\_ckpt\_99.pth  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 3]  
另外checkpoint的pth文件无法在服务器里打开，大概要下载到自己电脑上才行。  
下一步打算更新数据集了。

## 文件夹只能在终端强制删除： ##

# cd /hexinyi
    # cd PyTorch-YOLOv3/data
    # ls
    coco  coco.names  custom  get_coco_dataset.sh  samples
    # cd custom
    # rm images
    rm: cannot remove 'images': Is a directory
    # rm images -r

[20210319171008246.png]: /images/20221022/0cbc6a91617d4feba92588792daa4678.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]: /images/20221022/6a98e9b86b404ff9bc044ca44361710a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]: /images/20221022/3e26f79e812a49d48a65b27a24ff4f19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 2]: /images/20221022/687b72420a6748ccab96a19054d11a4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 3]: /images/20221022/49f4e7ae0b894ea2bd572807e23a79d8.png