CV领域的几大深度学习架构论文阅读

末蓝、 2023-05-30 09:10 52阅读 0赞

以下是在我研究Crowd Counting领域之前，阅读的CV领域几大的网络架构的论文。我个人认为，无论是在CV领域做什么方向的研究，在那之前，还是最好先了解CV领域的高级架构，因为后面很多的工作都是在这基础上完成的，了解了这些会让我们后面的学习之路走的更轻松、更远。论文地址我就没给了，因为这几个网络架构十分著名，论文很好找。

# **ImageNet Classification with Deep Convolutional Neural Networks**  #

这篇文章的网络是在2012年的ImageNet竞赛中取得冠军的一个模型整理后发表的文章。AlexNet网络结构在整体上类似于LeNet，都是先卷积然后在全连接，但是细节上更为复杂。

**Alex****网络结构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70][]

这个图是由上下两部分网络构成，分别对应两个GPU。5卷积层，3全连接层。

**第一层：**卷积1，输入为 224×224×3的图像，卷积核的数量为96，论文中两片GPU分别计算48个核; kernel\_size = 11×11×3; stride = 4, pad = 0

卷积后的图形大小为：

wide = (224 + 2 \* padding - kernel\_size) / stride + 1 = 54

height = (224 + 2 \* padding - kernel\_size) / stride + 1 = 54

dimention = 96，然后进行 (Local Response Normalized), 后面跟着池化pool\_size = (3, 3), stride = 2, pad = 0 ，最终获得第一层卷积的feature map

**第二层：**卷积2, 输入为上一层卷积的feature map， 卷积核的个数为256个，论文中的两个GPU分别有128个卷积核。 kernel\_size = 5×5×48; pad = 2, stride = 1; 然后做 LRN， 最后 max\_pooling, pool\_size = (3, 3), stride = 2;

**第三层：**卷积3, 输入为第二层的输出，卷积核个数为384, kernel\_size = 3×3×256， padding = 1, 第三层没有做LRN和Pool

**第四层：**卷积4, 输入为第三层的输出，卷积核个数为384, kernel\_size = 3×3, padding = 1, 和第三层一样，没有LRN和Pool

**第五层：**卷积5, 输入为第四层的输出，卷积核个数为256, kernel\_size = 3×3, padding = 1。然后直接进行max\_pooling, pool\_size = (3, 3), stride = 2;

**第****6,7,8****层：**全连接层，每一层的神经元的个数为4096，最终输出softmax为1000,因为ImageNet这个比赛的分类个数为1000。全连接层中使用了RELU和Dropout。

**Alex****网络特点**

1. 更深的网络结构

2. 使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征

3. 使用Dropout抑制过拟合

4. 使用数据增强Data Augmentation抑制过拟合

5. 使用Relu替换之前的sigmoid的作为激活函数

6. 多GPU训练

# **V****ERY** **D****EEP** **C****ONVOLUTIONAL** **N****ETWORKS FOR** **L****ARGE****-S****CALE** **I****MAGE** **R****ECOGNITION**  #

VGG Net在 ILSVRC 2014 上取得了第二名的成绩，将 Top-5错误率降到7.3%，主要的贡献是展示出网络的depth是算法优良性能的重要部分。几种用的比较多的网络结构有ResNet（152-1000层），GooleNet（22层），VGGNet（19层），大多数模型都是基于这几个模型上改进。

**VGG Net****网络结构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 1][]

Input是大小为224\*224的RGB图像，预处理时计算出三个通道的平均值，在每个像素上减去平均值（处理后迭代更少，更快收敛）。

1. 图像经过一系列卷积层处理，在卷积层中使用了非常小的3\*3卷积核，在有些卷积层里则使用了1\*1的卷积核。

2. 卷积层stride = 1，3\*3卷积层的padding = 1。池化层采用max pooling，共有5层，在一部分卷积层后，max-pooling的窗口是2\*2，stride设置为2。

3. 卷积层之后是三个全连接层。前两个全连接层均有4096个通道，第三个全连接层有1000个通道，用来分类。所有网络的全连接层配置相同。

4. 全连接层后是Softmax，用来分类。

5. 所有隐藏层都使用ReLU作为激活函数，并且VGGNet不使用LRN。

**VGG****网络特点**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 2][]

1. 选择采用3\*3的卷积核是因为3\*3是最小的能够捕捉像素8邻域信息的的尺寸。

2. 使用1\*1的卷积核目的是在不影响输入输出的维度情况下，对输入进行形变，再通过ReLU进行非线性处理，提高决策函数的非线性。

3. 2个3\*3卷积堆叠等于1个5\*5卷积，3个3\*3堆叠等于1个7\*7卷积，感受野大小不变，而采用更多层、更小的卷积核可以引入更多非线性（更多的隐藏层，从而带来更多非线性函数），提高决策函数判决力，并且带来更少参数。

4. 每个VGG网络都有3个FC层，5个池化层，1个softmax层。

5. 在FC层中间采用dropout层，防止过拟合。

**存在的问题**

尽管VGG Net 减少了卷积层参数，但实际上其参数空间比 AlexNet 大，其中绝大多数的参数都是来自于第一个全连接层，耗费更多计算资源。好在随后的 NIN 中发现将这些全连接层替换为全局平均池化，对于性能影响不大，同时显著降低了参数数量。

# **Rethinking the Inception Architecture for Computer Vision**  #

GoogLeNet做出了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，参数只有VGG的1/36.GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

**Inception V1**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 3][]

其中，3x3前、5x5前、max pooling后加上的1x1的卷积核，是为了降低特征图厚度。

**基于****Inception****构建了****GoogLeNet****的网络结构（共****22****层）**

网络结构图太长了，我就不放了。

网络特点如下：

1. GoogLeNet采用了模块化的结构（Inception结构），方便增添和修改；

2. 网络最后采用了average pooling来代替FC，该想法来自NIN，可以将准确率提高0.6%。但是，实际在最后还是加了一个FC，主要是为了方便对输出进行灵活调整；

3. 虽然移除了FC，但是网络中依然使用了Dropout ;

4. 为了避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度。辅助分类器是将中间某一层的输出用作分类，并按一个较小的权重（0.3）加到最终分类结果中，这样相当于做了模型融合，同时给网络增加了反向传播的梯度信号，也提供了额外的正则化。但是在实际测试的时候，这两个额外的softmax会被去掉。

**Inception V2**

1.  **卷积分解。**用2个连续的3x3卷积层组成的小网络来代替单个的5x5卷积层，在保持感受野范围的同时又减少了参数量；任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代，但是这种分解在中等图上效果才好。
2.  **降低特征图大小。**卷积、池化并行执行，再进行合并。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 4][]

**Inception V3**

最重要的改进是分解，将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样既可以加速计算，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。

**Inception V4**

ResNet结构大大地加深了网络深度，还极大地提升了训练速度，同时性能也有提升。Inception V4结合了ResNet残差结构进行改进。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 5][]

# **Deep Residual Learning for Image Recognition**  #

ResNet在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低。ResNet的推广性也非常好，甚至还可以直接用到InceptionNet网络中。

**Residual learning**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 6][]

ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想也非常类似，允许原始输入信息直接传到后面的层中，如下图所示。这样的话这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此ResNet又叫做残差网络。

**ResNet****和****VGG Net****的对比以及创新**

ResNet提出residual learning的思想。ResNet通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。RetNet和VGG Net最大的区别在于前者有很多的旁路将输入直接连接到后面的层，这种结构也被称为shortcut。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 7][]

**网络结构**

在ResNet网络结构中会用到两种残差模块，一种是以两个3\*3的卷积网络串接在一起作为一个残差模块，另外一种是1\*1、3\*3、1\*1的3个卷积网络串接在一起作为一个残差模块。ResNet有不同的网络层数，常用的是50-layer，101-layer，152-layer，他们都是由以下两种残差模块堆叠在一起实现的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 8][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191108222403362.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191108222434837.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191108222505105.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2019110822252713.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191108222543401.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191108222555742.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191108222610387.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20191108222627544.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20191108222642751.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgyMTg3NA==,size_16,color_FFFFFF,t_70