池化 MaxPooling AveragePooling MeanPooling GlobalMaxPooling GlobalAveragePooling 区别

深藏阁楼爱情的钟 2021-06-11 15:11 344阅读 0赞

## **MaxPooling AveragePooling** ##

**目的：**  
1、整合特征  
2、减少参数  
2、平移不变性

![这里写图片描述][SouthEast]  
如上图使用的max pooling，当底层特征向右偏移一位时，由于max pooling 只关注较大值，可以看到上层特征变化不大。  
![这里写图片描述][SouthEast 1]  
上图中三个detector分别探测不同偏移方向的数字5，当探测到对应偏移的数字5时，相应的detector就会激活。而在detector上层的pooling就能很好的对所有激活的detector产生激活。从而可以对数字的变形具有一定鲁棒性。  
**类别：**  
常有相邻矩形区域内的平均值、最大值、 L2 范数以及基于据中心像素距离的加权平均函数。  
AveragePooling：对邻域内特征点求平均。

输入：
    1 3
    2 2
    输出：
    2

MaxPooling：对邻域内特征点求最大值。

输入：
    1 3
    2 2
    输出：
    3

Stochastic-pooling：  
通过对像素点按照数值大小赋予概率（越大概率越大），再按照概率进行亚采样，概率越大越容易被采到，避免max pooling总是取最大值。在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

## **GlobalMaxPooling GlobalAveragePooling** ##

global池化主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个池化，形成一个特征点。来源于network in network。  
![这里写图片描述][SouthEast 2]  
全连接层存在限制输入维度大小，参数过多的问题。如上图，全连接层需将所有特征图转成向量拼接后再全连接。而global pooling思想是既然你全连接后最终还是输出一个固定大小向量，那不如直接对每个feature map进行处理。比如128个9\*9的feature map，对每个feature map取最大值直接得到一个128维的特征向量。

[SouthEast]: /images/20210520/ab646c58e9114d25b5caa8c568fdd992.png
[SouthEast 1]: /images/20210520/c8547116558f498e83716c17570dfe81.png
[SouthEast 2]: /images/20210520/7a134c4c1b6d4265bc94eb9a4b985189.png