卷积神经网络的层数一般超过三层_「深度学习卷积神经网络」深不可测的残差网络ResNet模型...

我会带着你远行 2022-10-27 01:47 170阅读 0赞

深度学习的「深」，更多是指模型的层数深。然而，卷积神经网络单纯的堆叠层数，会出现梯度消失、梯度退化和网络退化的问题。2015年何凯明，张翔宇，任少卿，孙剑四位华人提出ResNet。

*  不断的提高网络性能
 *  达到最优性能时多余的网络层做恒等映射

**模型结构**

*  构建残差块
 *  堆叠残差块

**残差块Residual block**

![49eb9e40386f5f9e1467d737e911b7ee.png][]

如上图，在原来的普通的网络基础上，每两层加上一个捷径连接(hortcut connection),H(x) = F(x) + x，构成一个残差块。多个残差块堆叠成一个残差网络。

![39a375603682d1780880948ac1ebff7e.png][]

**卷积核**

上图左：ResNet34 两层残差单元使用两个3\*3的卷积核。

上图右：ResNet50/101/152 三层残差单元使用1\*1、3\*3、1\*1卷积核

**ResNet34**

感受一下34层的深度残差网络的结构图：

![7a99d2620e297303574577b24deebc58.png][]

shortcut connections(捷径连接)有实线和虚线：

*  实线表示通道相同，H(x)=F(x)+x。
 *  虚线表示通道不同，H(x)=F(x)+Wx，其中W是卷积操作，调整x维度的。

**核心理念**

假设现有一个比较浅的网络(Shallow Net)已达到了饱和的准确率，这时在它后面再加上几个恒等映射层(Identity mapping，也即y=x，输出等于输入)，这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等映射直接将前一层输出传到后面的思想，便是著名深度残差网络ResNet的灵感来源。

**论文地址**

*https://arxiv.org/abs/1512.03385*

[49eb9e40386f5f9e1467d737e911b7ee.png]: /images/20221024/9936e3b20cf94203ba6064c56644ae88.png
[39a375603682d1780880948ac1ebff7e.png]: /images/20221024/1ca8cf09a30d406898639b64096039b0.png
[7a99d2620e297303574577b24deebc58.png]: /images/20221024/60cfb49327814f8dafb5662b6f722558.png

发表评论取消回复

表情：

评论列表（有 0 条评论，170人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习卷积神经网络

目录 1 CNN网络的构成 2 卷积层 2.1 卷积的计算方法 2.2 padding（填充） 2.3 stride（

怼烎@/ 2024年03月31日 14:55/ 0 赞/ 144 阅读

相关卷积神经网络CNN与深度卷积神经网络-学习笔记

卷积神经网络与深度卷积神经网络学习总结笔记 0. 卷积神经网络基础 0.1 二维卷积层（二维卷积层，常用于处理图像数据） 0.1.1

爱被打了一巴掌/ 2023年07月18日 02:55/ 0 赞/ 38 阅读

相关卷积神经网络-卷积层

卷积层的一些性质： ( 1 )输入数据体的尺寸是 W1 \ H1 \ D1。 ( 2 ) 4 个超参数:滤波器数K，滤波器空间尺寸F，滑动

Myth丶恋晨/ 2023年03月14日 10:44/ 0 赞/ 32 阅读

相关卷积神经网络之残差网络ResNet详解

卷积神经网络之残差网络ResNet详解理论上，在网络中添加新的层得到的新模型可能会更好地拟合训练数据集，因此添加层似乎更容易降低训练误差。然而在事件中，添加过多的层后训

傷城~/ 2022年12月26日 11:09/ 0 赞/ 244 阅读

相关卷积神经网络之(深度卷积神经网络)AlexNet

卷积神经网络之AlexNet 2012年AlexNet横空出世，赢得了ImageNet2012图像识别挑战赛。首次证明了学习到的特征可以超越手工设计的特征。 Alex

绝地灬酷狼/ 2022年12月25日 13:52/ 0 赞/ 240 阅读

相关神经网络-卷积神经网络

卷积神经网络最基本的操作：卷积、池化、全连接 1、卷积操作什么是卷积操作？我们先定义一个目的，让卷积神经网络去识别数字 “17” 和字母 “L”。有三张图片，

小鱼儿/ 2022年11月12日 01:41/ 0 赞/ 383 阅读

相关卷积神经网络的层数一般超过三层_「深度学习卷积神经网络」深不可测的残差网络ResNet模型...

深度学习的「深」，更多是指模型的层数深。然而，卷积神经网络单纯的堆叠层数，会出现梯度消失、梯度退化和网络退化的问题。2015年何凯明，张翔宇，任少卿，孙剑四位华人提出ResNe

我会带着你远行/ 2022年10月27日 01:47/ 0 赞/ 171 阅读

相关卷积神经网络

卷积神经网络转载请注明：http://blog.csdn[.NET][]/stdcoutzyx/article/details/41596663 自今年七月份以来，一

川长思鸟来/ 2022年07月14日 21:25/ 0 赞/ 424 阅读

相关吴恩达-深度学习-卷积神经网络-多层卷积笔记

你已经知道如何对二维图像做卷积了，现在看看如何执行卷积不仅仅在二维图像上，而是三维立体上。我们从一个例子开始，假如说你不仅想检测灰度图像的特征，也想检测RGB彩色图像

电玩女神/ 2022年05月25日 09:18/ 0 赞/ 287 阅读

相关卷积神经网络

[卷积神经网络][Link 1] 在上篇中介绍的输入层与隐含层的连接称为全连接，如果输入数据是小块图像，比如8×8，那这种方法是可行的，但是如果输入图像是96×96，

曾经终败给现在/ 2021年12月09日 14:55/ 0 赞/ 572 阅读