反卷积（转置卷积）的理解

以你之姓@ 2022-05-18 08:58 359阅读 0赞

参考：[打开链接][Link 1]

## 卷积： ##

就是这个图啦，其中蓝色部分是输入的feature map，然后有3\*3的卷积核在上面以步长为2的速度滑动，可以看到周围还加里一圈padding，用更标准化的参数方式来描述这个过程：  
二维的离散卷积(N=2)  
方形的特征输入(*i*1=*i*2=*i*  i 1 = i 2 = i )  
方形的卷积核尺寸(*k*1=*k*2=*k*  k 1 = k 2 = k )  
每个维度相同的步长(*s*1=*s*2=*s*  s 1 = s 2 = s )  
每个维度相同的padding(*p*1=*p*2=*p*  p 1 = p 2 = p )  
![这里写图片描述][70]  
(*i*=5,*k*=3,*s*=2,*p*=1)  ( i = 5 , k = 3 , s = 2 , p = 1 ) , 输出特征尺寸*o*1=*o*2=*o*  输 出 特 征 尺 寸 o 1 = o 2 = o   
其中，卷积层输入特征与输出特征尺寸和卷积核参数的关系为： *o*=(*f**l**o**o**r*)\[*i*\+2*p*−*k**s*\+1\]  o = ( f l o o r ) \[ i + 2 p − k s + 1 \]

## 反卷积 ##

![这里写图片描述][70 1]  
这里写图片描述  
考虑一下这个图，其中的参数描述是:(i=4,k=3,s=1,p=0),输出o=2。  
对于这个运算,我们把3\*3的卷积核展开成如下图所示的\[4,16\]的稀疏矩阵,其中非0元素*w**i**j*  w i j 表示卷及核的第i行和第j列。  
![这里写图片描述][70 2]  
然后再把4\*4的输入特征转换成\[16,1\]的矩阵X，那么Y=CX则是一个\[4,1\]的输出特征矩阵，把它重新排列2×2的输出特征就得到最终的结果，从上述分析可以看出卷积层的计算其实是可以转化成矩阵相乘的。值得注意的是，在一些深度学习网络的开源框架中并不是通过这种这个转换方法来计算卷积的，因为这个转换会存在很多无用的0乘操作，Caffe中具体实现卷积计算的方法可参考Implementing convolution as a matrix multiplication。通过上述的分析，我们已经知道卷积层的前向操作可以表示为和矩阵C相乘，那么我们很容易得到卷积层的反向传播就是和C的转置相乘。  
反卷积的作用：噪声升维，上采样，从低维度进入高维度，比直接给定高维度随机形更强，这样就可以通过修改转置conv kernel去梯度下降出网络超参数

## 反卷积和卷积的关系 ##

全面我们已经说过反卷积又被称为Transposed(转置) Convolution，我们可以看出其实卷积层的前向传播过程就是反卷积层的反向传播过程，卷积层的反向传播过程就是反卷积层的前向传播过程。因为卷积层的前向反向计算分别为乘 *C*  C   
和 *C**T* CT,而反卷积层的前向反向计算分别为乘 *C**T*  C T  和 (*C**T*)*T*  ( C T ) T  ，所以它们的前向传播和反向传播刚好交换过来。

下图表示一个和上图卷积计算对应的反卷积操作，其中他们的输入输出关系正好相反。如果不考虑通道以卷积运算的反向运算来计算反卷积运算的话，我们还可以通过离散卷积的方法来求反卷积（这里只是为了说明，实际工作中不会这么做）。

同样为了说明，定义反卷积操作参数如下：  
二维的离散卷积 (*N*=2)  ( N = 2 )   
方形的特征输入 *i*′1=*i*′2=*i*′  i 1 ′ = i 2 ′ = i ′   
方形的卷积核尺寸*k*′1=*k*′2=*k*′  k 1 ′ = k 2 ′ = k ′   
每个维度相同的步长*s*′1=*s*′2=*s*′  s 1 ′ = s 2 ′ = s ′   
每个维度相同的padding *p*′1=*p*′2=*p*′  p 1 ′ = p 2 ′ = p ′

下图表示的是参数为(*i*′=2,*k*′=3,*s*′=1,*p*′=2)  ( i ′ = 2 , k ′ = 3 , s ′ = 1 , p ′ = 2 ) 的反卷积操作，其对应的卷积操作参数为(*i*=4,*k*=3,*s*=1,*p*=0)  ( i = 4 , k = 3 , s = 1 , p = 0 ) 。我们可以发现对应的卷积和非卷积操作其(*k*=*k*′,*s*=*s*′=1)  ( k = k ′ , s = s ′ = 1 ) ,但是反卷积却多了*p*′=2  p ′ = 2 。通过对比我们可以发现卷积层中左上角的输入只对左上角的输出有贡献，所以反卷积层会出现*p*′=*k*−*p*−1=2  p ′ = k − p − 1 = 2 .通过示意图，我们可以发现，反卷积层的输入输出在*s*=*s*′=1  s = s ′ = 1 的情况下关系为：

*o*′=*i*′−*k*′\+2*p*′\+1=*i*′\+(*k*−1)−2*p*  o ′ = i ′ − k ′ + 2 p ′ + 1 = i ′ + ( k − 1 ) − 2 p

![这里写图片描述][70 3]

## Fractionally Strided Convolution ##

上面也提到过反卷积有时候也被叫做Fractionally Strided Convolution，翻译过来大概意思就是小数步长的卷积。对于步长 *s*>1  s > 1   
的卷积，我们可能会想到其对应的反卷积步长 *s*′<1  s ′ < 1 。z如下图所示为一个参数为 *i*=5,*k*=3,*s*=2,*p*=1  i = 5 , k = 3 , s = 2 , p = 1 的卷积操作(就是第一张图所演示的)所对应的反卷积操作。对于反卷积操作的小数步长我们可以理解为：在其输入特征单元之间插入 *s*−1  s − 1 个0，插入0后把其看出是新的特征输入，然后此时步长 *s*′  s ′ 不再是小数而是为1。因此，结合上面所得到的结论，我们可以得出Fractionally Strided Convolution的输入输出关系为：

*o*′=*s*(*i*′−1)\+*k*−2*p*  o ′ = s ( i ′ − 1 ) + k − 2 p

![这里写图片描述][70 4]

[Link 1]: https://buptldy.github.io/2016/10/29/2016-10-29-deconv/
[70]: /images/20220518/0faefb63710547c5af0ab89bf189fa3f.png
[70 1]: /images/20220518/c58576d64d254f6988a55f40becb564e.png
[70 2]: /images/20220518/cd7a5761295e401ca354db515fc445f6.png
[70 3]: /images/20220518/f139c81bee7d44ca83e6ebd77849e22a.png
[70 4]: /images/20220518/da4c158631a34be0b933a233f7e592c4.png