再思考：CNN学习纹理、Transformer学习形状？

梦里梦外; 2022-09-01 11:55 72阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 梦晨 水木番 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

这是你眼里的一只猫：

![590b74e04aa8e11672a9dd26771d04d4.png][]

这是CNN眼里的一只猫：

![e1a58b82c3449703a70f177cc6e51994.png][]

这是**ViT** (Vision Transformer)眼里的一只猫:

![a5c131cce9c6205f1d59ea7efb3715b7.png][]

从去年起，Transformer忙着跨界CV，如ViT在图像分类上准确率已超过CNN，大有取代之势。

这背后的原因是什么？

最近普林斯顿的一项研究认为，Transformer的运作方式**更接近人类**，连犯错的方式都和人类一样。

研究团队在图像分类的准确率之外，增加了对**错误类型**的分析。

结果发现，与CNN相比，ViT更擅长判断**形状**。

此前在ICLR2019上发表的一篇论文提出，用ImageNet训练的CNN模型更倾向于通过**纹理**分类图像。

如下图中混合了大象皮肤纹理的猫被判断成了大象。

![2b071eae6be805e0659ceb2cd56e8e5c.png][]

###### **△**来自arXiv:1811.12231    ######

虽然说这更可能和ImageNet的数据纹理信息更丰富有关。

但ViT模型，使用相同数据集训练，就倾向于通过形状分类图像，并且表现比CNN更好。

用形状分类物体也是人类的倾向。不信的话，试试回答下图的问题：右面的三个物体中哪个与左边的是同类？

![c92a352893bcc3b547eeaf4d7c422ba9.png][]

###### **△**来自DOI: 10.1016/0749-596X(92)90040-5    ######

这意味着，使用ViT不仅能建立更高效的视觉神经网络，甚至对理解人类视觉的运作方式都有帮助。

这么神奇？

下面来看看CNN与Transformer与人脑的联系分别在哪里。

## CNN：从猫身上获得灵感 ##

大脑的不同区域对视觉信息有不同的处理方式，CNN主要模仿的是“**腹侧流** (Ventral Stream)”在物体识别、分类上的运作方式。

![b76b6fee26d679b07f7adaed4a532cba.png][]

1981年获得诺贝尔生理和医学奖，由神经科学家Hubel和Wiesel发现猫的视觉皮层中有**简单细胞**和**复杂细胞**两种。

每个简单细胞对一个特定角度的长条物体反应最强烈，而复杂细胞接受许多个简单细胞传出的信号，就能做到将不同角度的长条物体识别成同一个。

![e1f43c942e27fefb17f3db485fe4a919.png][]

在CNN中，这两种细胞的工作被分配给了**卷积层**和**池化层**。

卷积层中的神经元像简单细胞一样，仅和上一层的部分区域相连接，学习局部特征。

![e259424da3a94e8c6eb8a07f8c8b8ec7.gif][]

而**最大池化** (Max Pooling)操作就是模仿复杂细胞，对简单细胞中信号最强的作出反应。

![52d1162ae3bc9f0003a6d5336b5306bf.png][]

这就是CNN从动物视觉中学到的**第一个**重要特性“**局部连接**”。

在卷积层和池化层中使用局部连接，仅在最后输出结果前加入全连接层，使CNN获得了“平移不变性”。

也就是把图像稍微挪动位置，也可以识别成相同的特征。

![ebeec1f3cf0b5a74a2134e0ca549fe27.png][]

另外，与全连接的神经网络相比，局部连接的方式还大大减少了需要的参数量，降低训练成本。

为了进一步节省资源、提高效率，CNN在此基础上发展出另一个特性“**权重共享**”。

隐藏层中的每个神经元都使用相同的过滤器，也就是**卷积核**。

就像这样：

![87b5641a60359f9e30416b88ac078537.gif][]

**△**来自freecodecamp

卷积核中的相同的参数使用在每一次卷积操作中，进一步降低了需要的参数量。

不过，与生物视神经的**不同之处**也随之出现了。

## ViT: 拥有多个注意力中心 ##

让我们再来看看人眼的**注意力机制**。

人是不能同时看清视野左右两端边缘上的物体的。

当你把目光聚焦到一边时，另一边只能模糊的感觉到有无物体存在，看不清具体的形状或颜色。

不信的话现在就可以试一试。

这是因为感光细胞在视网膜上的分布并是**不均匀**的。

人眼的感光细胞分为视杆细胞(Rods)和视锥细胞(Cones)两种。

![bd3c0acb070ee6f8169f45ee565af0ca.png][]

视杆细胞主要负责感知光的亮度，不能很好地分辨细节。

而在光亮度足够时能分辨颜色和形状的视锥细胞，集中分布在视网膜中心处。

只有在目光聚焦的位置上可以看清细节，所以我们观察时要不停地转动眼球，将目光聚焦在视野上的不同位置，这就产生了注意力机制。

![16de67adb848fa7201a8de6db80ce88d.png][]

不过比人眼更先进的是，神经网络可以拥有多个注意力，被称为多头注意力(Multi-Head Attention)机制。

### 一句话是一个序列 ###

在NLP任务中，Transformer将文本作为一个序列来处理。

有了注意力机制，就可以在长序列中注意到每个词与其他词间的关系，实现上下文关联的机器翻译。

![033f0bd0b73aab48c38496973e17c7db.gif][]

### 一张图也是一个序列    ###

谷歌大脑团队进一步提出，图像在分解成小块之后，再配合位置编码，也可以当作一个序列来处理。

![080b689d9997815ce787b697ee535f2d.gif][]

就像在NLP领域Transformer可以有效注意到一个词与上下文的关系一样，在CV领域也可以汇总图像的全局特征进行学习。

用于图像分类的**ViT**就此诞生，开启了Transformer的跨界刷屏之旅。

### 犯错的方式都和人一样 ###

在普林斯顿大学对比CNN和ViT的这篇论文中，还建立了**错误一致性**这个指标来对各个模型进行评判。

从WordNet中选取了16个概念(如飞机、熊、键盘等)来衡量CNN和ViT犯错的类型。

![e5f3444ac9e2d215fd3aa704f376e45b.png][]

从结果可以看出，ViT和人类一样，更倾向于通过形状判断物体。

## 未来趋势 ##

ViT问世之初来势汹汹，以至于很多人都在问，注意力机制这是要取代卷积吗？

从最近的趋势看来，Transformer在CV领域的应用，反倒是刺激了二者的**结合**和**统一**。

卷积擅长提取**细节**，要掌握全局信息往往需要堆叠很多个卷积层。

注意力善于把握**整体**，但又需要大量的数据进行训练。

如果把两者结合起来，是不是能够取长补短？

把注意力引入CNN的有谷歌推出的**BoTNet**就是简单把ResNet的最后瓶颈块中的3x3卷积替换成全局自注意力，没有别的改变，就在减少开销的情况下提高了性能。

![b30efea39320985e8478b4475747b80a.png][]

之后麦吉尔大学和微软又把卷积引入Transformer架构的**CvT**(Convolutional vision Transformers)，去除了Transformer中的位置编码，提升对于高分辨率视觉任务的效果。

![0376fcbe2b0902526b5d2afd332025f3.png][]

最近，谷歌大脑Quoc Le团队利用简单的相对注意力把两大架构自然地统一起来，提出了混合模型**CoAtNet**。

看来，强强联合果然不错。

这还没结束，除了卷积与注意力的协作以外，甚至有人从更高的层面开始尝试将二者统一。

上海交大和华为的研究，用对卷积特征的变换操作达到近似自注意力的效果，提出全新的算子**X-Volution**，可以在任何现代神经网络结构中使用。

![e400e1148aa1f3ba12f159ddbef8ea2a.png][]

港中文提出更是将CNN、Transformer以及MLP都统一在一起，提出了用于多头上下文聚合的通用结构**Container**，取得了超越三大架构及混合架构的成绩。

![3825eeaac4b509ff0817e30ee8b11042.png][]

ViT：  
https://arxiv.org/abs/2010.11929

ViT比CNN更像人类：  
https://arxiv.org/abs/2105.07197

CNN纹理偏差的来源：  
https://arxiv.org/abs/1911.09071

BoTNet：  
https://arxiv.org/abs/2101.11605

CvT：  
https://arxiv.org/abs/2103.15808

CoAtNet：  
https://arxiv.org/abs/2106.04803

X-Volution：  
https://arxiv.org/abs/2106.02253

Container：  
https://arxiv.org/abs/2106.01401

参考链接：  
\[1\]https://arxiv.org/abs/1706.09077  
\[2\]https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53  
\[3\]https://arxiv.org/pdf/2101.01169.pdf  
\[4\]https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

— **完** —

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![032cf8ddb62060463af064cd8555107e.png][]

[590b74e04aa8e11672a9dd26771d04d4.png]: /images/20220829/8a38ce0ccb734805a235e84ded1bfd4e.png
[e1a58b82c3449703a70f177cc6e51994.png]: /images/20220829/1d58e2e7191d4115be1d9f30217deb59.png
[a5c131cce9c6205f1d59ea7efb3715b7.png]: /images/20220829/dea10690e8ff4fb5a875f2b29efc2192.png
[2b071eae6be805e0659ceb2cd56e8e5c.png]: /images/20220829/4d15b2f32af24de7a81f70b403d927f1.png
[c92a352893bcc3b547eeaf4d7c422ba9.png]: /images/20220829/c1f315035a504609aa605e8adfea0636.png
[b76b6fee26d679b07f7adaed4a532cba.png]: /images/20220829/74a862616f0647c78d655ca22a1d3ff2.png
[e1f43c942e27fefb17f3db485fe4a919.png]: /images/20220829/b64da264b00f4b5d8d7dd065b99419c5.png
[e259424da3a94e8c6eb8a07f8c8b8ec7.gif]: /images/20220829/ac03841d74f146a6ad02534f9ce49d37.png
[52d1162ae3bc9f0003a6d5336b5306bf.png]: /images/20220829/8ad367751929414f91ad6cfcba0e0868.png
[ebeec1f3cf0b5a74a2134e0ca549fe27.png]: /images/20220829/5a64eac5fd194cab90acff936c820315.png
[87b5641a60359f9e30416b88ac078537.gif]: /images/20220829/c54e3eb5e02d409c8ee4dfd2651be8c2.png
[bd3c0acb070ee6f8169f45ee565af0ca.png]: /images/20220829/c4c1e0a4b9c8466ca80a6d9663ae5969.png
[16de67adb848fa7201a8de6db80ce88d.png]: /images/20220829/7d4e9fb3387c4062a7e2b4cce37ceeba.png
[033f0bd0b73aab48c38496973e17c7db.gif]: /images/20220829/9e984d34aa214e5e80bb3b4c2c74a17e.png
[080b689d9997815ce787b697ee535f2d.gif]: /images/20220829/dd0dfcfb43534af89c927dfacc05e410.png
[e5f3444ac9e2d215fd3aa704f376e45b.png]: /images/20220829/275a3a0f5db74dfba2de8ea733859783.png
[b30efea39320985e8478b4475747b80a.png]: /images/20220829/c92e5d23039543bb95db2300462d6cf2.png
[0376fcbe2b0902526b5d2afd332025f3.png]: /images/20220829/27b6fdbd6cef4cd1a1816537d3119920.png
[e400e1148aa1f3ba12f159ddbef8ea2a.png]: /images/20220829/5411bb69d42940169eae7d890641dccf.png
[3825eeaac4b509ff0817e30ee8b11042.png]: /images/20220829/06fc4735d4034f05859caa9385467730.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[032cf8ddb62060463af064cd8555107e.png]: /images/20220829/4ce936500a04470e91dc2a0db0089f8b.png