降采样-升采样

我不是女神ヾ 2022-10-11 00:59 318阅读 0赞

# 降采样 #

深度卷积神经网络中降采样的方法：

*  stride大于1的pooling
 *  stride大于1的conv
 *  stride大于1的reorg（reorganization改组整顿），由Joseph Redmond在YOLOv2中首次提出。

## conv ##

用stride=2的conv降采样的卷积神经网络效果与使用pooling降采样的卷积神经网络效果相当；卷积神经网络小的时候，使用pooling降采样效果可能更好，卷积神经网络大的时候，使用stride=2的conv降采样效果更好。

## pooling ##

pooling提供了一种非线性，这种非线性需要较深的conv叠加才能实现，因此当网络比较浅的时候，pooling有一定优势；但是当网络很深的时候，多层叠加的conv可以学到pooling所能提供的非线性，甚至能根据训练学习到比pooling更好的非线性，因此当网络比较深的时候，不使用pooling没多大关系，甚至更好。

pooling的非线性是固定的，不可学习的，这种非线性其实就是一种先验。

## reorg ##

reorg降采样的优势在于能够较好的保留低层次的信息，pooling和conv的降采样方式，好处是抽取的特征具有更强的语义性，坏处是会丢失一些细节信息。reorg方式与pooling和conv方式相反，它提取的特征语义性不强，但是能保留大量细节信息。所以当既需要降采样，又需要不丢失细节信息的时候，reorg是一个非常合适的选择。

为了增强模型的效果，都会融合低层和高层的信息，这样融合后的特征既具有高层特征的抽象语意信息，又具有低层特征的细节信息。而低层特征feature map比高层特征feature map大，为了融合，需要将高层特征feature map放大到跟低层特征feature map一样大，放大feature map的过程就是升采样（upsample）过程。

# 升采样（上采样） #

## UnPooling ##

UnPooling操作与MaxPooling操作是对应的，在MaxPooling时记录每一个保留元素的位置，在UnPooling时将元素在之前保留的位置填充，其余位置补0即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70]

## UpSampling ##

插值方式包括最近邻（nearest-neighbor）插值、双线性插值（bilinear）、双立方插值（bicubic）。

*  nearest-neighbor  
    最近邻插值，是指将目标图像中的点，对应到源图像中后，找到最相邻的整数点，作为插值后的输出。如下图所示，P为目标图像对应到源图像中的点，Q11、Q12、Q21、Q22是P点周围的4个整数点，Q12与P距离最近，因此P点的值等于Q12的值。由于图像中像素具有邻域相关性，因此，用这种方法会产生明显的锯齿。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 1]
 *  bilinear interpolation  
    双线性插值使用周围4个点插值得到输出，双向性插值，是指在xy方向上，都是基于线性距离来插值的，如上图所示，目标图像中的一个点对应到源图像中点P（x，y），先在x方向上插值：  
    ![在这里插入图片描述][20210629150409584.png]  
    然后，进行y方向插值：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 2]  
    可以验证，先进行y方向插值再进行x方向插值，结果也是一样的。双线性插值在单个方向上是线性的，但对整福图像来说是非线性的。
 *  bicubic  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 3]  
    双三次曲线插值方法计算量较大，但后的图像效果最好。
 *  各种插值方式的区别与联系  
    从nearest interpolation、bilinear interpolation到bicubic interpolation，插值所利用的信息越来越多，feature map越来越平滑，但是同时计算量也越来越大，nearest interpolation、bilinear interpolation、bicubic interpolation的区别与联系可见下图所示，其中黑色的点为预测值，其他彩色点为周围已知值，用来计算预测值。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 4]

## 反卷积 ##

卷积操作是将大的特征图经过卷积核的遍历之后变成小的特征图（无padding的情况下）。反卷积操作是先将小的特征图通过一定的插值方式变为大的特征图，再进行正常卷积。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 5]

*  stride=1  
    等价于stride=1的conv，只是padding的方式不同，不能起到升采样的作用。以一维的数据为例，示意图如下，中间的步骤是将卷积转换为矩阵乘法的过程。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 6]
 *  stride>1  
    能起到升采样的作用，一般用到的deconv，stride都大于1。以一维的数据为例，示意图如下，中间步骤是将卷积转换为矩阵乘法的过程。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 7]
 *  deconv和插值的区别与联系  
    deconv和插值都是通过周围像素点来预测空白像素点的值，区别在于同一个权重由认为预先定义的公式计算，一个通过数据驱动来学习。

**参考资料**  
[双三次插值算法(bicubic interpolation)与图形学和计算方法的关系][bicubic interpolation]  
[图像上采样 & 图像处理中常见的插值方法][Link 1]  
[ 深度卷积神经网络中的降采样（part2）][_part2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70]: /images/20221005/fda697c21e2742f0a26bd7f23b509c5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/b30cc3d81c4242f787b541a7e4fd786c.png
[20210629150409584.png]: /images/20221005/21d9f12111fa4286858e348b740e2073.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 2]: /images/20221005/96df227c278d4f468a83708fa89c3db6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 3]: /images/20221005/96b015fb9a2149428ec936fbe7921a6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 4]: /images/20221005/daf18660c4134af0b83870d6de3c1d61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 5]: /images/20221005/25089d2e71ad4ec38a231eded42e1072.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 6]: /images/20221005/8e75321e097742b3ace62998c4105b60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 7]: /images/20221005/20f599b48dfb45ba9df7b2705cd980a7.png
[bicubic interpolation]: https://blog.csdn.net/nandina179/article/details/85330552
[Link 1]: https://zhuanlan.zhihu.com/p/89421892
[_part2]: https://blog.51cto.com/u_15221047/2807363