经典网络ResNet介绍

柔情只为你懂 2022-11-03 05:55 332阅读 0赞

经典网络ResNet(Residual Networks)由Kaiming He等人于2015年提出，论文名为《Deep Residual Learning for Image Recognition》，论文见：[https://arxiv.org/pdf/1512.03385.pdf][https_arxiv.org_pdf_1512.03385.pdf]

ResNet要解决的是深度神经网络的”退化(degradation)”问题，即使用浅层直接堆叠成深层网络，不仅难以利用深层网络强大的特征提取能力，而且准确率会下降，这个退化不是由于过拟合引起的。

ResNet也称为残差网络。ResNet是由残差块(Residual Building Block)构建的，论文截图如下所示：提出了两种映射：identity mapping(恒等映射)，指的是右侧标有x的曲线；residual mapping(残差映射)，残差指的是F(x)部分。最后的输出是F(x)+x。F(x)+x的实现可通过具有”shortcut connections”的前馈神经网络来实现。shortcut connections是跳过一层或多层的连接。图中的”weight layer”指卷积操作。如果网络已经达到最优，继续加深网络，residual mapping将变为0，只剩下identity mapping，这样理论上网络会一直处于最优状态，网络的性能也就不会随着深度增加而降低。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70][]

残差块由多个级联的卷积层和一个shortcut connections组成，将二者的输出值累加后，通过ReLU激活层得到残差块的输出。多个残差块可以串联起来，从而实现更深的网络。

残差块有两种设计方式，论文截图如下所示：左图针对较浅的网络，如ResNet-18/34；右图针对较深的网络，又称为”bottleneck” building block，如ResNet-50/101/152，使用此方式的目的就是为了降低参数数目。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 1][]

论文中给出了5种不同层数的ResNet，论文截图如下所示：可见，ResNet-18/34是进行两层卷积的残差，ResNet-50/101/152是进行三层卷积的残差，分别对应于上图中的残差块的两种设计方式。ResNet-18/34对应的每个残差块的卷积kernel大小依次是3\*3、3\*3，ResNet-50/101/152对应的每个残差块的卷积kernel大小依次是1\*1、3\*3、1\*1。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 2][]

18、34层等数字是如何计算出来的：以34层为例，1个卷积(conv1)+3残差块\*2个卷积(conv2\_x)+4个残差块\*2个卷积(conv3\_x)+6个残差块\*2个卷积(conv4\_x)+3个残差块\*2个卷积(conv5\_x)+最后的1个全连接层=34。这里的层仅指卷积层和全连接层，其它类型的层并没有计算在内。

论文中给出了层数为34的ResNet网络结构，论文截图如下所示：左侧为VGG-19网络结构；中间为34层的普通网络结构；在此基础上，在层与层之间加入shortcut connections，就将普通网络转换为对应的ResNet网络，即右侧网络结构。与上表中ResNet-34一致。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 3][]

右侧ResNet网络，曲线有实线和虚线两种。虚线表示恒等映射x输出的feature map数、width、height与残差F(x)的输出不一致时，x需要进行卷积kernel大小为1\*1的运算操作，因为最终F(x)与x要执行”+”操作，即Eltwise操作。GoogLeNet中使用Concat操作。

假如输入图像大小为n\*n，过滤器(filter)为f\*f，padding为p，步长(stride)为s，则输出大小为：计算卷积层大小，如果商不是整数，向下取整，即floor函数；计算池化层大小，如果商不是整数，向上取整，即ceil函数。参考：[https://blog.csdn.net/fengbingchun/article/details/80262495][https_blog.csdn.net_fengbingchun_article_details_80262495]

![20210227115611235.png][]

在[https://github.com/fengbingchun/Caffe\_Test/tree/master/test\_data/Net/ResNet][https_github.com_fengbingchun_Caffe_Test_tree_master_test_data_Net_ResNet] 上整理了论文中ResNet对应的18、34、50、101、152的prototxt文件。

这里描述下ResNet-50架构：与上表中”50-layer”一致

(1).输入层(Input)：图像大小为224\*224\*3。

(2).卷积层conv1+BatchNorm+Scale+ReLU：使用64个7\*7的filter，stride为2，padding为3，输出为112\*112\*64，64个feature maps。

(3).卷积层conv2\_x：输出为56\*56\*256，256个feature maps。

A.最大池化层：filter为3\*3，stride为2，padding为0，输出为56\*56\*64，64个feature maps。

B.连续3个残差块，每个残差块，包含3层卷积，卷积kernel大小依次为1\*1、3\*3、1\*1，feature maps数依次为64、64、256，第1、2层卷积做Convolution+BatchNorm+Scale+ReLU，第3层卷积做Convolution+BatchNorm+Scale。第1个残差块的identity mapping需做卷积kernel大小为1\*1+BatchNorm+Scale运算，使其输出调整为56\*56\*256，便于做Eltwise操作。每个残差块后做Eltwise+ReLU操作。

(4).卷积层conv3\_x：输出为28\*28\*512，512个feature maps。

连续4个残差块，每个残差块，包含3层卷积，卷积kernel大小依次为1\*1、3\*3、1\*1，feature maps数依次为128、128、512，第1、2层卷积做Convolution+BatchNorm+Scale+ReLU，第3层卷积做Convolution+BatchNorm+Scale。第1个残差块的identity mapping需做卷积kernel大小为1\*1+BatchNorm+Scale运算，使其输出调整为28\*28\*512，便于做Eltwise操作。每个残差块后做Eltwise+ReLU操作。

(5).卷积层conv4\_x：输出为14\*14\*1024，1024个feature maps。

连续6个残差块，每个残差块，包含3层卷积，卷积kernel大小依次为1\*1、3\*3、1\*1，feature maps数依次为256、256、1024，第1、2层卷积做Convolution+BatchNorm+Scale+ReLU，第3层卷积做Convolution+BatchNorm+Scale。第1个残差块的identity mapping需做卷积kernel大小为1\*1+BatchNorm+Scale运算，使其输出调整为14\*14\*1024，便于做Eltwise操作。每个残差块后做Eltwise+ReLU操作。

(6).卷积层conv5\_x：输出为7\*7\*2048，2048个feature maps。

连续3个残差块，每个残差块，包含3层卷积，卷积kernel大小依次为1\*1、3\*3、1\*1，feature maps数依次为512、512、2048，第1、2层卷积做Convolution+BatchNorm+Scale+ReLU，第3层卷积做Convolution+BatchNorm+Scale。第1个残差块的identity mapping需做卷积kernel大小为1\*1+BatchNorm+Scale运算，使其输出调整为7\*7\*2048，便于做Eltwise操作。每个残差块后做Eltwise+ReLU操作。

(7).平均池化层：filter为7\*7，stride为1，padding为0，输出为1\*1\*2048，2048个feature maps。

(8).全连接层：有1000个神经元或输出1000个feature maps。

(9).输出层(Softmax)：输出分类结果，看它究竟是1000个可能类别中的哪一个。

可视化结果如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 4][]

**GitHub**：[https://github.com/fengbingchun/NN\_Test][https_github.com_fengbingchun_NN_Test]

[https_arxiv.org_pdf_1512.03385.pdf]: https://arxiv.org/pdf/1512.03385.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70]: /images/20221024/50afa5d62fe84a3e93dfde39e55d3339.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 1]: /images/20221024/8ab56b6d52444e538d42616322127f51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 2]: /images/20221024/488268fcb0c448af8be6339c60899adf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 3]: /images/20221024/1a4866146c004209833094bfe271e86f.png
[https_blog.csdn.net_fengbingchun_article_details_80262495]: https://blog.csdn.net/fengbingchun/article/details/80262495
[20210227115611235.png]: /images/20221024/7cece1db20244a5e8c0b946931dc579c.png
[https_github.com_fengbingchun_Caffe_Test_tree_master_test_data_Net_ResNet]: https://github.com/fengbingchun/Caffe_Test/tree/master/test_data/Net/ResNet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 4]: /images/20221024/d29747e1c315495fbb5dcddbcdbbb6d3.png
[https_github.com_fengbingchun_NN_Test]: https://github.com/fengbingchun/NN_Test