卷积神经网络反向传播理论推导

╰半夏微凉° 2022-02-01 11:41 562阅读 0赞

本文首先简单介绍CNN的结构，并不作详细介绍，本文只要讲解CNN的反向传播，CNN的反向传播，其实并不是大多所说的和全连接的BP类似，CNN的全连接部分的BP是与它相同，但是CNN中卷积--池化、池化--卷积部分的BP是不一样的，仔细推导，还是有很多细节地方需要思考的，比如1、在前向传播的过程中，卷积层的输入，是通过卷积核与前一层的输出特征图卷积得来的，那么在反向传播的过程中该怎么处理？这个就与全连接神经网络不同了。2、由于在前向传播的时候，池化层会对前一层卷积层进行放缩，那么从池化层到卷积层BP的时候，小尺度的池化层怎么把误差反传到大尺度的卷积层（这里的大小是一般而言，卷积层一张特征图经池化之后尺度会变小）？这个就与全连接神经网络完全不同！3、公式推导中，或者某些库的函数实现过程中，卷积核为什么要翻转180度？ps.本文是根据汇报的PPT更改，里面有很多图和文字就直接截图了，里面的每一个公式都是我和F.Tao讨论和推导过的，如有错误欢迎指正。

还是先首先贴一张CNN结构图吧，下面这张图个人认为是结构很清晰的，每一层是什么，以及卷积层+池化层和全连接层在做什么工作都表达的很好，来源Google搜索。

要明白卷积操作是用来干嘛的，是用来提取特征的，反向传播的意义又是什么？因为初始的时候卷积核的值都是随机设定的，我们可以根据前向传播的预测结果，进行误差分析，不断地修改卷积核的值，使得更好的提取特征，就是反向传播的意义。

如果你觉得这篇文章看起来稍微还有些吃力，或者想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击[这里][Link 1]可以查看教程。

![20170608093642205][]

对卷积和池化操作直观的理解就如下图：

![20170608094354251][]

对应的网络连接结构图如下所示：

![20170608094622054][]

这里要说明两个概念，一个是卷积，一个是协相关，这两个概念是很多人都不清楚的，以至于把协相关当成了卷积来使用。

![20170608095244666][]

![20170608095318435][]

那么卷积层对输入的卷积操作就变成了如下：

![20170608095638043][]

下面一下CNN中的几个注意的点：

![20170608095945374][]

可以从下图中找出对应的连接方式（注：下面的L包含了卷积和池化两个部分，但不妨碍理解）：

![20170608100445172][]

下面三张图截取自 [3D CNN][]，为了更加详细说明每一层是什么，每一层那个是特征图，那些是神经元。

![20170608100703673][]

![20170608100715907][]

![20170608100725439][]

前向传播：

这里只说CNN前向传播不同于全连接前向传播的部分，即：输入层到卷积层和卷积层到池化层。

![20170608101112097][]

1、输入层到卷积层的前向传播

输入层到卷积层，采用的是局部连接，参数共享，卷积操作的方式，进行计算的，有个最好的说明就是cs231n笔记中的gif图，现展示如下：

![20170608102148166][]

图中有两个卷积核，w0和w1，注：这两个卷积核是已经翻转过的，然后进行协相关操作。由于输入的是3个通道的图片，因此每个卷积核也必须是3个通道的。所谓局部连接、权值共享都在这幅图上体现的淋淋尽致，非常好的表达。

现作理论推导：

![20170608102800655][]

![20170608102812497][]

2、卷积层到池化层的前向传播：

![20170608102939813][]

前向传播比较简单，介绍就到这里，下面分析反向传播算法：

CNN的反向传播其实与全连接神经网络的反向传播有很大不同，只是从最后的输出层到最后一个卷积层的池化层的误差计算方式是相同的，但是从池化层到卷积层，卷积层到输出层（or池化层）的误差传播方式与全连接网络是大不相同的。

![20170608103131097][]

![20170608103237958][]

![20170608103320421][]

![20170608103436054][]

![20170608103517078][]

![20170608103555071][]

![20170608103624516][]

![20170608103651307][]

![20170608103717917][]

![20170608103903404][]

参考：

[http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/][http_www.jefkine.com_general_2016_09_05_backpropagation-in-convolutional-neural-networks]

[http://www.cnblogs.com/pinard/p/6494810.html][http_www.cnblogs.com_pinard_p_6494810.html]

[http://manutdzou.github.io/2016/05/15/CNN-backpropagation.html][http_manutdzou.github.io_2016_05_15_CNN-backpropagation.html]

[Link 1]: http://www.captainbed.net/csdn
[20170608093642205]: /images/20220201/3c43d5693b0b4617b7919e9eb6a57373.png
[20170608094354251]: /images/20220201/6415eb994dc54ffb8dc874b5d9ea056e.png
[20170608094622054]: /images/20220201/49f7963e18b14a469c33d702410a44cf.png
[20170608095244666]: /images/20220201/6b3cb73d561340a78a97e5810efea6aa.png
[20170608095318435]: /images/20220201/ee40bfc169634ab8a9fc54f0e024db2f.png
[20170608095638043]: /images/20220201/31ee3832240448dd9266716976515e0f.png
[20170608095945374]: /images/20220201/36e494e98bff4cb9915bb0c56d7ae980.png
[20170608100445172]: /images/20220201/34a2e3c418194dcb9c845db93eb4ff5f.png
[3D CNN]: http://scs.ryerson.ca/~aharley/vis/conv/
[20170608100703673]: /images/20220201/ab31ac7e4992401bb0c00f4f10f60eed.png
[20170608100715907]: /images/20220201/a0c7341966844915824078be00f6fe1e.png
[20170608100725439]: /images/20220201/773d1ca1d974431e81922461cb6434cb.png
[20170608101112097]: /images/20220201/a706719b83f34e2eb80e5a4a6f764c70.png
[20170608102148166]: /images/20220201/3f882a764d4e48caac407c1a797346ba.png
[20170608102800655]: /images/20220201/b4e1096a7722498a95459c0133d368e4.png
[20170608102812497]: /images/20220201/0c7bc88720cf4b8eb0efde0b1568ebc6.png
[20170608102939813]: /images/20220201/fe28d5703e5c40bca24733149b3f8b3f.png
[20170608103131097]: /images/20220201/5c3183db054f4f1ba33cd22b1963bb97.png
[20170608103237958]: /images/20220201/2dda5e238a05420a87b00a721c94c93b.png
[20170608103320421]: /images/20220201/e15ebd1c097245b999a2819cf22dba56.png
[20170608103436054]: /images/20220201/a39d8957ec0d4305b6d4fb2e3480d1e1.png
[20170608103517078]: /images/20220201/2c417cfc27e24f8f878b70fccc8d4e38.png
[20170608103555071]: /images/20220201/7597f725dba14f4796dca4cc7f30a2fb.png
[20170608103624516]: /images/20220201/8a9b93fd114f458fa8b2b451f12469c6.png
[20170608103651307]: /images/20220201/0e773fd58bc24127a16ec563e898814c.png
[20170608103717917]: /images/20220201/d7954b2046c5437f9a706f5dc311b097.png
[20170608103903404]: /images/20220201/4bd85f351f254075970e83d50efd2737.png
[http_www.jefkine.com_general_2016_09_05_backpropagation-in-convolutional-neural-networks]: http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/
[http_www.cnblogs.com_pinard_p_6494810.html]: http://www.cnblogs.com/pinard/p/6494810.html
[http_manutdzou.github.io_2016_05_15_CNN-backpropagation.html]: http://manutdzou.github.io/2016/05/15/CNN-backpropagation.html