深度学习笔记_基本概念_对Max Pooling的理解

淩亂°似流年 2022-11-28 10:36 240阅读 0赞

**目录**

Max Pooling是什么

Max Pooling的作用

作用1：invariance(不变性)

作用2：增大感受野

听说pooling层可以消失

还是可以用pooling的

参考链接

--------------------

# Max Pooling是什么 #

在卷积后还会有一个 pooling 的操作。

max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。

注意区分max pooling（最大值池化）和卷积核的操作区别：**池化作用于图像中不重合的区域**（这与卷积操作不同）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70][]

这个图中，原来是4\*4的图片。由于不会重合，所以filter的大小和步长stride是相等的，为2.

粉色区域最大值为6，得到的该区域结果是6，绿色是8，黄色是3，紫色是4.

**池化层不改变卷积层的层数**（channel），如下图所示。且**池化层并没有引入新的未知参数**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

有一个动图：

![20191012101458476.gif][]

PS：发现其实是有重叠池化的（overlapping pooling）相邻池化窗口之间会有重叠区域，此时filter的大小sizeX>stride步长。

# Max Pooling的作用 #

### 作用1：invariance(不变性) ###

invariance(不变性)，这种不变性包括translation(平移)不变性，rotation(旋转)不变性，scale(尺度)不变性。

（1）translation平移

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 1][]

图中左边两个大图，表示数字1，但是两个的位置不同，上者经过向右平移得到下者。经过池化后，得到了相同的结果。

（2）rotation

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 2][]

左边大图表示的是汉字“一”（姑且这么理解吧，明白就行）。经过两次池化得到了相同的结果。

（3）scale

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 3][]

左边大图表示的是数字0，经过两次池化得到了相同的结果。

再举一个例子：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 4][]

考虑黄色区域中黑色的形状-----“横折”。经过2\*2的filter之后，得到了3\*3的output；

经过3\*3的最大池化后，都得到了1\*1的output 为3.

可以看出，“横折”这个形状，在经过池化后得到的结果是相同的，这就**减小下一层输入大小，减小计算量和参数个数，降维（减小feature map的尺寸）**。

### 作用2：增大感受野 ###

可能跟作用1的结论有些因果关系。

首先它第一个作用是降低feature map的尺寸，减少需要训练的参数；其次，因为有缩小的作用，所以之前的4个像素点，现在压缩成1个。那么，相当于我透过这1个点，就可以看到前面的4个点，这不就是把当前map的感受野一下子放大了嘛（[参考][Link 1]）

# 听说pooling层可以消失 #

因为我们可以用步长大于1的卷积来替代。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 5][]

害，我觉得这肯定是要付出时间代价的emmmm，参数也多。

有人做了实验。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 6][]

上图是3个CNN的结构模型：①Strided-CNN-C直接使用的conv. + ReLU; ② ConvPool-CNN-C使用了max-pooling，大小为2；③All-CNN-C未使用max-pooling，使用的是步长为2的卷积。

结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 7][]

嗯，错误率降低了。

Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for Simplicity: The AllConvolutional Net\[J\]. Eprint Arxiv, 2014.

# 还是可以用pooling的 #

因为pooling相对于带步长的卷积操作，毕竟减少了计算量，所以对于很多需要concat/add featuremap通道的小模型，pooling仍然可以以小搏大。比如下面的shufflenet的block。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 8][]

Zhang X, Zhou X, Lin M, et al. ShuffleNet: An Extremely EfficientConvolutional Neural Network for Mobile Devices\[J\]. 2017.

# 参考链接 #

*  [https://www.jianshu.com/p/c3ba4ca849d3][https_www.jianshu.com_p_c3ba4ca849d3]
 *  [https://blog.csdn.net/jiachen0212/article/details/78548667][Link 1]
 *  [https://www.cnblogs.com/ying-chease/p/8658351.html][https_www.cnblogs.com_ying-chease_p_8658351.html]
 *  [https://www.sohu.com/a/160924449\_651893][https_www.sohu.com_a_160924449_651893]
 *  [https://www.cnblogs.com/guoyaohua/p/8674228.html][https_www.cnblogs.com_guoyaohua_p_8674228.html]
 *  [https://blog.csdn.net/dulingtingzi/article/details/79848625][https_blog.csdn.net_dulingtingzi_article_details_79848625]
 *  [https://blog.csdn.net/u010402786/article/details/51541465][https_blog.csdn.net_u010402786_article_details_51541465]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70]: /images/20221124/5fe0ae9f36684caebd5c62ebb25b14e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201004114344770.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221124/8b567700bc234d40bf1788ef71f2098d.png
[20191012101458476.gif]: /images/20221124/ff6fdc8cedbb4c87abdb677b93d437b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 1]: /images/20221124/8f0e31d8734f47e99c3beaecbc7cccd2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 2]: /images/20221124/009d9786f43c4c46bdff3f8db8546377.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 3]: /images/20221124/f4ccab1540c74b74b894bf1480b8bae7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 4]: /images/20221124/59279913f1614776bb608fae6246f4d5.png
[Link 1]: https://blog.csdn.net/jiachen0212/article/details/78548667
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 5]: /images/20221124/df4990d477954654b4b71fdab96ff589.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 6]: /images/20221124/455c4124e250468094aa20c875132ea2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 7]: /images/20221124/3c2ddb860862472e9d91dafdc6294771.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUxMzkxNw_size_16_color_FFFFFF_t_70 8]: /images/20221124/f138bfb7645443c288e596787bb17c80.png
[https_www.jianshu.com_p_c3ba4ca849d3]: https://www.jianshu.com/p/c3ba4ca849d3
[https_www.cnblogs.com_ying-chease_p_8658351.html]: https://www.cnblogs.com/ying-chease/p/8658351.html
[https_www.sohu.com_a_160924449_651893]: https://www.sohu.com/a/160924449_651893
[https_www.cnblogs.com_guoyaohua_p_8674228.html]: https://www.cnblogs.com/guoyaohua/p/8674228.html
[https_blog.csdn.net_dulingtingzi_article_details_79848625]: https://blog.csdn.net/dulingtingzi/article/details/79848625
[https_blog.csdn.net_u010402786_article_details_51541465]: https://blog.csdn.net/u010402786/article/details/51541465