反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)

客官°小女子只卖身不卖艺 2022-04-27 16:58 299阅读 0赞

##### 反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)相关代码和可视化代码在附录 #####

# 反卷积(Deconvolution) #

反卷积（转置卷积、空洞卷积（微步卷积））近几年用得较多，可以概括为：反卷积=上采样=（转置卷积+微步卷积）⊆ 空洞卷积=一般意义上的广义卷积（包含上采样和下采样）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70]  
这是空洞卷积（微步卷积）的例子，其中下面的图是输入，上面的图是输出，显然这是一个upsampling的过程，我们也称为反卷积。

# Upsampling（上采样） #

在FCN、U-net等网络结构中，我们见识到了上采样这个东西。那么，什么是上采样呢？简单来说：上采样指的是任何可以让你的图像变成更高分辨率的技术。

最简单的方式是重采样和插值：将输入图片进行rescale到一个想要的尺寸，而且计算每个点的像素点，使用如\*\*\*双线性插值\*\*\*等插值方法对其余点进行插值来完成上采样过程。

# Unpooling #

Unpooling是在CNN中常用的来表示max pooling的逆操作。这是从2013年纽约大学Matthew D. Zeiler和Rob Fergus发表的《Visualizing and Understanding Convolutional Networks》中产生的idea：  
鉴于max pooling不可逆，因此使用近似的方式来反转得到max pooling操作之前的原始情况  
简单来说，记住做max pooling的时候的最大item的位置，比如一个3x3的矩阵，max pooling的size为2x2，stride为1，反卷积记住其位置，其余位置至为0就行：  
![在这里插入图片描述][20190610103933593.png]

# 图像理解 #

#### 使用三张图进行说明： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 1]

图（a）表示UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值位置以外，其余补0。与之相对的是图（b），两者的区别在于UnSampling阶段没有使用MaxPooling时的位置信息，而是直接将内容复制来扩充Feature Map。从图中即可看到两者结果的不同。图（c）为反卷积的过程，反卷积是卷积的逆过程，又称作转置卷积。最大的区别在于反卷积过程是有参数要进行学习的（类似卷积过程），理论是反卷积可以实现UnPooling和unSampling，只要卷积核的参数设置的合理。

# 反卷积与UnPooling的可视化 #

#### 对网络层进行可视化的结果： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 2]  
图（a）是输入层；图（b）是14*14反卷积的结果；图（c）是28*28的UnPooling结果；图（d）是28*28的反卷积结果；图（e）是56*56的Unpooling结果；图（f）是56*56反卷积的结果；图（g）是112*112 UnPooling的结果；图（h）是112*112的反卷积的结果；图（i）和图（j）分别是224*224的UnPooling和反卷积的结果。两者各有特点。

# 附录 #

反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)、可视化代码：  
https://github.com/heuritech/convnets-keras  
https://github.com/kvfrans/feature-visualization  
https://github.com/FHainzl/Visualizing\_Understanding\_CNN\_Implementation

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70]: /images/20220121/7a647c47e45441d88192ff09ee6ffc18.png
[20190610103933593.png]: /images/20220121/20871fe680444dab820b152c3a5a7072.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 1]: /images/20220121/57082b8316274904a7c5ddcf0fddadf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 2]: /images/20220121/47a983d29a75412faca22dcf2d979255.png