谷歌 | 宽模型和深模型学到的，一样吗？

阳光穿透心脏的1/2处 2022-10-16 07:27 4阅读 0赞

作者｜Thao Nguyen, AI Resident, Google Research

来自｜AI公园  编译｜ronghuaiyang

**导读**

提高模型容量可以从宽度和深度着手，但是，宽模型和深模型学到的是相同的东西吗？用各自适用的场景吗？

**论文链接：**https://arxiv.org/abs/2010.15327

提高神经网络性能并使其适应可用计算资源的一个常见做法是调整体系结构的深度和宽度。事实上，流行的神经网络家族，包括EfficientNet， ResNet和Transformers，由一套灵活的深度和宽度的架构组成。然而，除了对准确性的影响之外，对于这些结构设计的基本选择如何影响模型的理解有限，比如对其内部表示的影响。

在“Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth”这篇文章中，我们通过其隐藏表示和最终输出，对来自同一结构的宽网络和深度网络之间的相似性进行了系统研究。在非常宽或非常深的模型中，我们在它们的内部表征中发现了一个典型的块结构，并在这种现象和模型过参数化之间建立了联系。模型之间的比较表明，没有块结构的模型在相应层的表示之间表现出显著的相似性，而包含块结构的模型表现出高度不同的表示。当在相同的测试集上对宽和深模型进行评估时，内部表示的这些属性反过来转化为在类和样本级别上的不同的系统性错误。

**比较表示相似性与CKA**

通过利用我们先前开发的Centered Kernel Alignment (CKA)技术，我们扩展了之前的分析表示的工作，该技术提供了一个健壮的、确定任意一对神经网络层所学习的表示之间的相似性的可扩展的方法。CKA将两层的表示(即激活矩阵)作为输入，并输出0(完全不相似)和1(相同的表示)之间的相似性得分。

我们在ResNets家族上应用CKA，使用不同的深度和宽度，在常见的基准数据集上训练(CIFAR-10和ImageNet)，并使用表示热图来说明结果。考虑模型的层中每个热图的*x*和*y*轴，从输入到输出，每一项(*i*， *j*)是层*i*和层*j*之间的CKA相似度评分。

![3bc96364eb7dbb78c264bb398e4c3abc.gif][]

我们使用CKA计算单个模型(即网络1和网络2相同时)和跨模型(即网络1和网络2使用不同的随机初始化训练，或具有完全不同的架构时)中所有层对的表示相似性。

下面是我们在一个深度26，宽度乘法器1的ResNet中比较每一层和其他每一层的表现时产生的热图的一个例子。在这里使用的设计约定中，规定的深度仅指网络中卷积层的数量，但我们分析了现有的所有层，宽度乘法器适用于每个卷积中滤波器的数量。请注意热图中的checkerboard模式，它是由体系结构中的跳跃连接(层之间的直接连接)引起的。

![e03070e257bddd7d3b4f47d57a2ddcbd.png][]

**Block结构的出现**

在更深或更宽网络的表示热图中，最突出的是出现了一组具有高度相似表示的连续层，这些层在热图中以黄色方块的形式出现(即具有高CKA分数的区域)。这种现象，我们称之为“block结构”，表明底层在逐步细化网络表示方面可能没有我们预期的那么有效。实际上，我们证明了在block结构中任务性能变得停滞不前，并且可以在不影响最终性能的情况下修剪一些底部的层。

![24c94073794651af5a9f2839acc5f574.png][]

块结构，一个大的，连续的层集具有高度相似的表示-随着宽度或深度的增加而出现。每个热图平面上显示了单个神经网络中所有层对之间的CKA相似性。虽然它的大小和位置在不同的训练中可能会有所不同，但块结构是一种稳健的现象，在较大的模型中始终如一地出现。

通过附加的实验，我们表明，相比于模型的相对于训练数据集的大小，块结构与模型的绝对大小的关系较小。随着我们减小训练数据集的大小，块结构开始出现在更浅更窄的网络中：

![466f5451b54843510af771adaa3e8b61.png][]

随着网络宽度的增加(沿每一行向右)和数据集大小的减少(沿每列向下)，相对模型容量(相对于给定的任务)被有效地膨胀，块结构开始出现在较小的模型中。

通过进一步的分析，我们还可以证明，块结构来自于保留和传播其底层表示的主要主成分。

**跨模型比较表示**

进一步，我们研究了深度和宽度对不同随机初始化和不同架构的模型表示的影响，并发现块结构的存在在这种情况下也有显著的不同。尽管有不同的架构，但没有块结构的宽和深的模型彼此表现出相似的表示，相应的层在模型中大致具有相同的比例深度。然而，当块结构存在时，它的表示对于每个模型是*唯一的*。这表明，尽管具有类似的总体性能，但每个带有块结构的宽或深的模型从输入到输出都有一个唯一的映射。

![1f529b839c18501a0a2c9285d87e9853.png][]

对于较小的模型(例如ResNet-38 1×)，不同初始化的CKA(对角线外)非常类似于单个模型中的CKA(对角线上)。相比之下，更广泛和更深层次模型(如ResNet-38 10×， ResNet-164 1×)的块结构内的表示在训练运行中是非常不同的。

**宽和深模型的误差分析**

在探索了广域和深度模型的学习表示的属性之后，我们接下来将转向理解它们如何影响输出预测的多样性。我们训练了不同体系结构的网络群体，并确定每个体系结构配置倾向于在哪个测试集样本上出错。

在CIFAR-10和ImageNet数据集上，具有相同平均精度的宽和深模型在样本级的预测方面仍然显示出统计上的显著差异。对于ImageNet上的类级别错误，同样的观察也成立，宽模型在识别自然场景对应的类方面表现出较小的优势，而深度网络在商品上相对更准确。

![8819e87596d22a4202131416f96ed380.png][]

在ImageNet上，每类模型的宽度(y-轴)或深度(x-轴)都有所增加。橙色的点反映了ResNet-83 (1×)两组50种不同的随机初始化之间的差异。

**结论**

在研究深度和宽度对内部表征的影响时，我们发现了块结构现象，并证明了它与模型容量的联系。我们还表明，宽模型和深模型在类和样本级别上显示出系统输出差异。

英文原文：https://ai.googleblog.com/2021/05/do-wide-and-deep-networks-learn-same.html

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![020747c45d77ce43adddec93acc83ab9.png][]

[3bc96364eb7dbb78c264bb398e4c3abc.gif]: /images/20221014/111b6beb35024162a5b5de973e03affd.png
[e03070e257bddd7d3b4f47d57a2ddcbd.png]: /images/20221014/033f5a3fda14417ea7f30042bb09b6fa.png
[24c94073794651af5a9f2839acc5f574.png]: /images/20221014/69ac8e0edea34c5099d1fa9d970b36e4.png
[466f5451b54843510af771adaa3e8b61.png]: /images/20221014/2d814e4d370a4d409a9e37f04a3a96d6.png
[1f529b839c18501a0a2c9285d87e9853.png]: /images/20221014/3cef3e898bb44baa89d864a56cc53e19.png
[8819e87596d22a4202131416f96ed380.png]: /images/20221014/2d7e5e377d894eff9e615c61a8bd41ae.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[020747c45d77ce43adddec93acc83ab9.png]: /images/20221014/975f36fbc344433a9ed53be834d11e8c.png