VGG学习

川长思鸟来 2022-12-03 09:57 237阅读 0赞

## **VGG优缺点** ##

**VGG优点**

*  VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。
 *  几个小滤波器（3x3）卷积层的组合比一个大滤波器（5x5或7x7）卷积层好：
 *  验证了通过不断加深网络结构可以提升性能。

**VGG缺点**

*  VGG耗费更多计算资源，并且使用了更多的参数（这里不是3x3卷积的锅），导致更多的内存占用（140M）。其中绝大多数的参数都是来自于第一个全连接层。VGG可是有3个全连接层啊！

PS：有的文章称：发现这些全连接层即使被去除，对于性能也没有什么影响，这样就显著降低了参数数量。

注：很多pretrained的方法就是使用VGG的model（主要是16和19），VGG相对其他的方法，参数空间很大，最终的model有500多m，AlexNet只有200m，GoogLeNet更少，所以train一个vgg模型通常要花费更长的时间，所幸有公开的pretrained model让我们很方便的使用。

PS:VGG16 和VGG19如下图D和E列，本质除了深度不同，其他均一样。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phY2tjaG9pc2UwMzA_size_16_color_FFFFFF_t_70][]

1 之前的网络都用7x7,11x11等比较大的卷积核，现在全用3x3不会有什么影响吗？

几个小滤波器卷积层的组合比一个大滤波器卷积层好：

假设你一层一层地重叠了3个3x3的卷积层（层与层之间有非线性激活函数）。在这个排列下，第一个卷积层中的每个神经元都对输入数据体有一个3x3的视野。

第二个卷积层上的神经元对第一个卷积层有一个3x3的视野，也就是对输入数据体有5x5的视野。同样，在第三个卷积层上的神经元对第二个卷积层有3x3的视野，

也就是对输入数据体有7x7的视野。假设不采用这3个3x3的卷积层，二是使用一个单独的有7x7的感受野的卷积层，那么所有神经元的感受野也是7x7，但是就有一些缺点。

**首先，多个卷积层与非线性的激活层交替的结构，比单一卷积层的结构更能提取出深层的更好的特征。其次，假设所有的数据有C个通道，那么单独的7x7卷积层将会包含**

**7\*7\*C=49C2个参数，而3个3x3的卷积层的组合仅有个3\*（3\*3\*C）=27C2个参数。直观说来，最好选择带有小滤波器的卷积层组合，而不是用一个带有大的滤波器的卷积层。前者可以表达出输入数据中更多个强力特征，**

**使用的参数也更少。唯一的不足是，在进行反向传播时，中间的卷积层可能会导致占用更多的内存。**

2  虽然网络层数加深，但VGG在训练的过程中比AlexNet收敛的要快一些，主要因为：

（1）使用小卷积核和更深的网络进行的正则化；

（2）在特定的层使用了预训练得到的数据进行参数的初始化。对于较浅的网络，如网络A，可以直接使用随机数进行随机初始化，而对于比较深的网络，则使用前面已经训练好的较浅的网络中的参数值对其前几层的卷积层和最后的全连接层进行初始化。

关于卷积与全连接的介绍：

[https://blog.csdn.net/weixin\_38383877/article/details/81007183][https_blog.csdn.net_weixin_38383877_article_details_81007183]

RCNN:

[https://baijiahao.baidu.com/s?id=1601053158190529853&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1601053158190529853_wfr_spider_for_pc]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phY2tjaG9pc2UwMzA_size_16_color_FFFFFF_t_70]: /images/20221123/09647a056a9e466cb0f3a3735028bfd8.png
[https_blog.csdn.net_weixin_38383877_article_details_81007183]: https://blog.csdn.net/weixin_38383877/article/details/81007183
[https_baijiahao.baidu.com_s_id_1601053158190529853_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1601053158190529853&wfr=spider&for=pc