【亲测】Swin-Transformer 自定义数据集图像分类

浅浅的花香味﹌ 2022-09-16 13:19 553阅读 0赞

#### Swin-Transformer是当前热门的深度学习框架，适用于多种视觉任务，相关的原理，网上有很多资源，大家可自行查看，这里主要介绍其在图像分类方面的代码调试经验，方便各位快速上手实验。Swin-Transformer代码链接[点击进入][Link 1] ####

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16]

实验环境及配置：
    Pytorch: 1.7.1
    CUDA: 10.1.243 版本（使用 nvcc --version 查看）
    GPU：显存8G
    操作系统： Centos 7

#### 1 环境配置 ####

> 其实根据官方的配置步骤，可以实现快速的配置，但是在进行到 Nvidia apex 那个步骤的时候，可能会出现一些问题，因为可能我们不是那么容易安装 apex 这个加速框架，等下会进一步介绍。下面先按照代码官方的配置过程来：

1.1 下载官网代码，也可以用官网推荐的以下命令：

git clone https://github.com/microsoft/Swin-Transformer.git (可能会出翔网络问题)
    cd Swin-Transformer (进入下载的文件夹)

如果您的网络有问题，不能使用以上命令下载，则直接在官网界面点击下载 zip 压缩包，再进行解压就行。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
1.2 创建并激活虚拟环境，使用以下命令:

conda create -n swin python=3.7 -y (其中虚拟环境 swin 名字，可以自定义)
    conda activate swin (进入该虚拟环境)

1.3 确定自己GPU 安装的 CUDA 版本(运行时的版本)，使用 nvcc -V （或 nvcc --version）使用 nvidia-smi 看到的是 CUDA 为驱动API版本，和运行时的版本不同，这个需要注意。

> 用于支持driver API的必要文件(如libcuda.so)是由GPU driver installer安装的。nvidia-smi就属于这一类API。  
> 用于支持runtime API的必要文件(如libcudart.so以及nvcc)是由CUDA Toolkit installer安装的。一般后续安装各种包或库，需要此类CUDA编译，所以我们后来需要安装和这个版本对应的 cudatoolkit 版本。  
> ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 2]

### 下面是安装包或库，这个需要在 你刚才创建的那个虚拟环境下进行安装 ###

1.4 安装 `PyTorch==1.7.1` and `torchvision==0.8.2` with `CUDA==10.1`:，这里的CUDA 和上面的运行时 API 一样。

conda install pytorch==1.7.1 torchvision==0.8.2 cudatoolkit=10.1 -c pytorch

1.5 安装 timm 包

pip install timm==0.3.2

> PyTorch Image Models (timm)是一个图像模型（models）、层（layers）、实用程序（utilities）、优化器（optimizers）、调度器（schedulers）、数据加载/增强（data-loaders / augmentations）和参考训练/验证脚本（reference training / validation scripts）的集合，目的是将各种SOTA模型组合在一起，从而能够重现ImageNet的训练结果

1.6 安装 apex  
官方安装语句，但是有时候 git 会因为网络问题，不能下载，且在运行下面第三句话时 pip 时会出现问题。所以我们尽量介绍另外的安装策略。

git clone https://github.com/NVIDIA/apex
    cd apex
    pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

如果上面的 git 命令无法下载，则采用下面的策略：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_17_color_FFFFFF_t_70_g_se_x_16]  
解压下载的文件后，进那个 apex 文件夹就行  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
下面说下，我安装过程中出现的问题有：  
1） 当然如果您上面的 cudatoolkit 版本没安装正确，同样也会报一个 mismatch 的错误，所以以上的安装一定要安装对版本。  
2）同样如果直接运行第三句命令，还会报一个，apex 文件夹中没有 setup.py 文件等，此时注意到，上面的图中，在apex 文件夹外就有个 setup.py 把那个文件直接复制进 apex 文件夹，再次运行上面的 第三条命令，看看能不能顺利执行，如果最终成功了，恭喜您，如果没成功，不要着急，我还有另外的安装方式。

> 如果上文的命令不行，请使用下面的命令：  
> 1 在 apex 文件夹中运行 python setup.py install  
> 2 然后运行 python setup.py build 即可，然后编译为我后面截图那个文件夹，  
> 3 把那个apex 复制到swin-tranformer 的代码目录，即可。  
> 如果还不行， 可以直接使用 pip install apex 试试

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_9_color_FFFFFF_t_70_g_se_x_16]  
这个是我编译好的apex 文件夹情况，  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
编译好的 apex 直接复制到 swin-transformer 文件夹  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
1.7 安装一些其他包:

pip install opencv-python==4.4.0.46 termcolor==1.1.0 yacs==0.1.8

以上就是环境配置，如果配置完全，即可进行下面的步骤了。

### 2 数据准备 ###

数据集处理成 imagenet 的格式，即每个类别放在一个文件夹，最好是类名直接命名为数字形式，也可以是真是类标，然后将 训练集 验证集 测试集 分文件夹存储，每个文件夹的格式就像下面的 样子。  
![在这里插入图片描述][d85c84a5fdc04585a4b74f54b2297ef4.png]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_17_color_FFFFFF_t_70_g_se_x_16 1]

### 代码更改 ###

1 打开 config.py , 将数据集的文件夹写进去，这样到时候训练时候，就不用再写了。  
2 修改类别的数量，因为默认是 1000类，  
3 下载预训练模型，并在 config.py中配置

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
![在这里插入图片描述][7f21f15295ae4a97b14cfa0490c5890c.png]  
![在这里插入图片描述][3ef578e1f52d457f8f21c6c0474f01fa.png]  
使用百度云盘下载即可。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
\*\*![加粗样式][b1783f7f72ac4916843536ae671d0e9b.png]  
\*\*  
还要改正几个地方，  
1 build.py 中的 类别数数量  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
2 预训练模型加载过程中，由于自定义数据集类别未必是1000 所以需要改utils.py 中的这个函数，我这里是加了个判断，您也可以改为其他的形式。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 9]  
3 测试时候，需要将 数据集改为 test 数据集，因为代码默认 为验证集，在 build.py 中  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_15_color_FFFFFF_t_70_g_se_x_16]

### 单块GPU训练和测试的命令 ###

训练

python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345  main.py \
    --cfg configs/swin_tiny_patch4_window7_224.yaml  --batch-size 8

测试

python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345  main.py --eval\
    --cfg configs/swin_tiny_patch4_window7_224.yaml --resume 训练模型路径 --batch-size 8

【以上即为Swin-Transformer图像分类调试过程】  
训练过程：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_14_color_FFFFFF_t_70_g_se_x_16]

[Link 1]: https://github.com/microsoft/Swin-Transformer
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/362f471e0e034454b12fdb4dd3f70443.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/86fa4768847e450eae02b5466609b699.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/f38da6e1192241d384c468641fde1d64.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/209ea088a2a74b058f0aaa83440dde24.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/22a03d0a136040e7b703ee29b48460bd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/04e2a306ddb14303aa626485f4ff0c9b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/c0f7be07d253415b9560eb8e452a7bb0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/bf17022283bb4a68a500ec6aeeb2409f.png
[d85c84a5fdc04585a4b74f54b2297ef4.png]: /images/20220828/0572f825c432481d87f94f2421467ded.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_17_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/33029c8afc884f98837b8504e495b145.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/c3c4032bbff54710a652f8e395c3b1ad.png
[7f21f15295ae4a97b14cfa0490c5890c.png]: /images/20220828/ac826be5bee74168af481dd7d3aea594.png
[3ef578e1f52d457f8f21c6c0474f01fa.png]: /images/20220828/f540aef0adfa40358a671b7a893ac0a1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/681d61fbae054d32bcdbd0a9cec8b3af.png
[b1783f7f72ac4916843536ae671d0e9b.png]: /images/20220828/210329223d594d32a4e7e96bc80da9f5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/dc008a9ccd5846b991d96b53d77a5479.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/14fbfef323504dceac9c8eab3c6954ee.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/cf865a17e947411e817992db7cff5742.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAcXFfMjk3NTA0NjE_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/483f702964d344de86b0bcb8343f401e.png