VOLO开源：首次在ImageNet上达到87.1%

以你之姓@ 2022-10-12 05:27 125阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章来源 ：量子位 仅分享，侵删

自打Transformer横空出世以来，它在CV领域就取得了很多不俗的效果。

比如采用纯Transformer架构的**ViT**在很多图像分类任务中表现都**不输最先进的CNN**。

**但在没有额外数据的情况下**，Transformer的性能仍然**比不过**它们。

不过，Transformer**并不服气**。

![5a673397ec80545ccd66aaf00b4486a3.png][]

这不，最近一个叫做**VOLO**的Transformer变体，自称打破了这个僵局：

**无需任何额外训练数据**，就在ImageNet数据集上达到了**87.1%**的top-1精度，**打破了**基于CNN的SOTA模型（NFnet ）此前保持的86.5％的最好记录！

![4288041b19611670563168542b67193a.png][]

Transformer因此又扬眉吐气了：我们真的不比CNN差。

那它是如何做到的呢？

## 引入outlook注意力 ##

这个基于自注意力的图像分类模型VOLO，出自**颜水成**领导的Sea AI Lab团队与新加坡国立大学。

![6c7952421a84c6d1b4d138be6796a033.png][]

他们在研究中发现，ViT在ImageNet图像分类上的性能受到限制的主要因素是：**在将精细级（fine-level ）的特征编码为token的表示过程中比较低效**。

为了解决这个问题，他们引入了一种新的**outlook注意力**，并提出了一个简单而通用的架构，称为Vision outlooker ，也就是VOLO。

与专注于全局依赖粗略建模的自注意力不同，outlook注意力可以有效地将更精细级别的特征和上下文编码为token。

因此，VOLO采用**两阶段架构设计**，**同时考虑了**更具细粒度的token表示编码和全局信息聚合。

第一阶段由一堆Outlookers组成，用于生成精细级别的token表示。

第二阶段部署一系列transformer blocks来聚合全局信息。

在每个阶段的开始，使用一个图像块嵌入模块（patch embedding module）将图像输入映射到期望形状的token表示。

下面就着重说一下这里面的核心：**Outlooker**。

其组成包括：用于空间信息编码的outlook注意力层，以及用于通道间信息交互的多层感知器(MLP)。

![ec4295752f4f66741cf99fc28a90332c.png][]

其中，通过**reshape**操作（绿框），可以从具有线性层的中心token简单生成大小为K×K的局部窗口的**Outlook注意力矩阵**。

由于注意力权值是从中心token生成并作用于邻居token及其本身（如黑框），因此研究人员将这些操作命名为outlook注意力。

![4440ae9d5f76c4f18c8258f368ed9bf6.gif][]

具体来说，假如给定一个大小为224×224的输入图像。

在使用自注意力构建粗略级（如14×14）的全局依赖之前，VOLO将图像标记成较小尺寸（如8× 8）的patches。并使用多个Outlooker在精细级别上（如28×28）对token表示进行编码。

这样，**最后获得的token表示更具有代表性**，从而可显著提高图像分类模型的性能。

这个模型兼具卷积和自注意力的优点，总的来说：

1、outlook注意力通过度量每对token表示之间的相似性来对空间信息进行编码，因此**其特征学习效果比卷积更具有参数效率**；

2、outlook注意力采用滑动窗口方式，在精细级上实现了对token表示进行局部编码，并在一定程度上**保留了视觉任务的关键位置信息**；

3、生成注意力权值的方法简单有效。与依赖于query-key矩阵乘法的自注意力不同，outlook的权值仅靠一个简单的reshape操作产生，**节省了计算量**。

## 实验结果 ##

研究人员配置了**五个不同大小的VOLO变体**，各参数如下：

![1aacc96a6c3c4dfd0ca1ce6f26b7b331.png][]

如下表所示，在不同的模型尺寸水平上，他们提出的VOLO**都**取得了比当前SOTA模型更佳的性能。

![1e71b681a985546c73eaf2204f7c7f2b.png][]

例如，只有26.6万参数量的VOLO-D1，在输入图片分辨率为224时，它在ImageNet上已经可以达到84.2%的top-1精度。将分辨率微调到384后，性能进一步提高到85.2%，一举pk掉所有具有相同训练参数的模型。

而当模型规模增加到**296万**时，VOLO就在ImageNet上达到了**87.1%的top-1精度**，这在没有额外训练数据的情况下创造了新的记录！

研究人员还将Outlooker与局部自注意力（local self-attention）和空间卷积进行了比较。

结果表明，在训练方法和架构相同的情况下，Outlooker都优于局部自注意力和空间卷积。

![853f391648e6869f245ebcb5f79aff96.png][]

研究人员还观察到，在以LV-ViT-S为基准模型时，局部自注意力和空间卷积也可以提高性能，这表明对精细级的token表示进行编码**对图像识别模型的性能提升是有帮助的**。

不仅如此，预训练好的VOLO模型还可以很好地迁移到下游任务，**如语义分割**：它在Cityscapes数据集上获得了84.3%的mIoU。

![4c7f65300ab82067a273fbb79400fa4e.png][]

在ADE20K数据集上获得了54.3%的mIoU。

![b23f3b07b3053d0f2eb0670ac8d8126a.png][]

最后，消融实验发现：

增加模型尺寸有助于提升模型性能，例如VOLO-D1到VOLO-D2可以带来1%的性能提升；

更高分辨率的微调同样也可以带来约1%的性能提升。

## 作者介绍 ##

![bfe607f0195c768d45fe830a73630659.png][]

本文的第一作者是袁粒，目前在新加坡国立大学（NUS）博士就读，本科毕业于中科大，曾提出改进ViT的模型：T2T-ViT。

![ea2743fe8299629585ca768e937fadbf.png][]

二作为侯淇彬，南开大学博士毕业，在计算机领域顶级期刊及会议上发表论文9篇，其中一作5篇。现在是NUS的研究员。

其余作者信息如下：

![addc1270498447eb77cef4af94da9e31.png][]

蒋子航，NUS博士在读，师从冯佳时教授，来自中国浙江。

![1f07395fd5999af1a115425170ad5084.png][]

冯佳时，著名华人AI学者，现为NUS的ECE系助理教授。本科毕业于中国科学技术大学，硕士毕业于中国科学院自动化研究所，博士毕业于NUS。他的论文h指数为68。

![4c5589f0606a0befe9d165354b50d413.png][]

颜水成，人称“水哥”，IEEE Fellow、IAPR Fellow。毕业于北京大学数学系，曾任360集团副总裁、依图科技CTO等职。

现在NUS领导机器学习与计算机视觉实验室，拥有该校终身教职，论文h指数为96。

更多研究细节请戳论文全文：https://arxiv.org/abs/2106.13112

GitHub链接：https://github.com/sail-sg/volo

\---------♥---------

**猜您喜欢：**

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![a904c4c6f52b56458d9048293e5cf814.png][]

[5a673397ec80545ccd66aaf00b4486a3.png]: /images/20221005/c387a8bf945f47dbb2a5a676da191e40.png
[4288041b19611670563168542b67193a.png]: /images/20221005/a3db6f47fc8d4e94996025c3c6d44b2a.png
[6c7952421a84c6d1b4d138be6796a033.png]: /images/20221005/6c754f0c1c204f0599947a67c5b18c8b.png
[ec4295752f4f66741cf99fc28a90332c.png]: /images/20221005/6ad2b2437f2e4bbf9fced932c70f467e.png
[4440ae9d5f76c4f18c8258f368ed9bf6.gif]: /images/20221005/7c8efb90cdf8448eb61c66557990f5e7.png
[1aacc96a6c3c4dfd0ca1ce6f26b7b331.png]: /images/20221005/9ba31cb63a1340d89ec5f5ab6b023547.png
[1e71b681a985546c73eaf2204f7c7f2b.png]: /images/20221005/3a8da79e0cb54519b7465b95270f6475.png
[853f391648e6869f245ebcb5f79aff96.png]: /images/20221005/ad2106d3fec5442ab8153daa4a22b97b.png
[4c7f65300ab82067a273fbb79400fa4e.png]: /images/20221005/3b60a66ac2be45819e51d7cf0e73cc10.png
[b23f3b07b3053d0f2eb0670ac8d8126a.png]: /images/20221005/df1b9ecc30cb4aea9e327527407212fd.png
[bfe607f0195c768d45fe830a73630659.png]: /images/20221005/48764ce0edda4880a793e9323724116b.png
[ea2743fe8299629585ca768e937fadbf.png]: /images/20221005/5fcfc56f336c47e3819775faa38777f7.png
[addc1270498447eb77cef4af94da9e31.png]: /images/20221005/3797ead7aaf545a999f8b58a50c9eed1.png
[1f07395fd5999af1a115425170ad5084.png]: /images/20221005/c201b67d4fb14d318e008d4ea33393c1.png
[4c5589f0606a0befe9d165354b50d413.png]: /images/20221005/237530aed5504e4487b219cc84efefc1.png
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[a904c4c6f52b56458d9048293e5cf814.png]: /images/20221005/c481d86e873b4052833f330570ebf458.png