Swin Transformer

￡神魔★判官ぃ 2022-09-14 02:38 202阅读 0赞

论文： Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Github：[https://github.com/microsoft/Swin-Transformer][https_github.com_microsoft_Swin-Transformer]

[https://github.com/rwightman/pytorch-image-models][https_github.com_rwightman_pytorch-image-models]

[https://github.com/open-mmlab/mmclassification][https_github.com_open-mmlab_mmclassification]

论文提出了 Transformer的改进版本Shifted windows Transformer，即Swin Transformer。通过滑动窗口的思想Shifted windows，使得相邻patch之间的信息得到了交互，使得精度更佳。最终在 ImageNet-1K分类任务上达到 87.3%的top-1准确性， COCO testdev检测任务上达到 58.7% box AP ，51.1% mask AP， ADE20K val语义分割任务上达到 53.5 mIoU。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16][]

相比之前的Vit模型，只有单一的低分辨率，平方倍的计算复杂度。并且需要大量的训练数据，比如 JFT-300M。 DeiT通过一些训练策略实现对Vit改进，使得可以在相对比较小的训练集 ImageNet-1K上进行训练。本文的Swin Transformer通过将patch进行合并，实现了多尺度的分辨率，并且每个patch都只线性的计算复杂度。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

attention模块在每一个patch内进行计算，相邻patch通过滑动窗口进行信息的交互。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

具体的通过更加高效的循环漂移（cyclic-shifting）策略，实现了基于batch的注意力转移。

# **网络结构：** #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

输入图片为H\*W\*3，每一个patch为4\*4的像素块，从而将输入图像的维度转化为(H/4)\*(W/4)\*(4\*4\*3)=(H/4)\*(W/4)\*(48)，然后经过embedding操作，依次进入后续的stage1，stage2，stage3，stage4。第一个stage只进行通道的改变，后续的stage2，stage3，stage4，依次将通道加倍，将分辨率减半。每一个stage都是通过swin transformer block组成，swin transformer block又通过多分支自注意力模块multi-head self attention modules实现，主要包含了传统的自注意力模块W-MSA和滑动窗口的自注意力模块SW-MSA组成。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

# **实验结果：** #

分类结果：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

检测结果：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

分割结果：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

# **总结：** #

swin transformer在视觉领域的分类，检测，分割，任务中都取得了state-of-the-art的效果。当然即使是tiny模型，也在100M以上。通过和efficientnet-b4进行对比，在自己的数据集上，swin-tiny会比efficientnet-b4高出平均2个点。mmclassification的实现比timm的实现会高1个多点。

[https_github.com_microsoft_Swin-Transformer]: https://github.com/microsoft/Swin-Transformer
[https_github.com_rwightman_pytorch-image-models]: https://github.com/rwightman/pytorch-image-models
[https_github.com_open-mmlab_mmclassification]: https://github.com/open-mmlab/mmclassification
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d68dd3fbd77849f0b0e007016504aca9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/3e399955e31045c6918e7a77581d7082.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/30087cb487e24229a412aa1822e93912.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/ec33a4d74d324023b1826fea791f75ab.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/2d98098c672340a79bd511f7d05aed39.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/a9147237add94e35b475be2243f8f741.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/22d9032f1baf444084692798df14fcd6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAd2F0ZXJzaW5r_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/cc21eff2caa645b3bf49d27b0e5cd4f4.png