BP的详细推导过程

阳光穿透心脏的1/2处 2022-05-21 05:43 275阅读 0赞

# BP的详细推导过程 #

2017年11月23日 22:05:11

阅读数：134

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。

说到神经网络，大家看到这个图应该不陌生：

![853467-20160630140644406-409859737.png][]

这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据\{x1,x2,x3,...,xn\},输出也是一堆数据\{y1,y2,y3,...,yn\},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了，相当于让原始数据通过一个映射来得到我们想要的输出数据，也就是我们今天要讲的话题。

本文直接举一个例子，带入数值演示反向传播法的过程，公式的推导等到下次写Auto-Encoder的时候再写，其实也很简单，感兴趣的同学可以自己推导下试试：）（注：本文假设你已经懂得基本的神经网络构成，如果完全不懂，可以参考Poll写的笔记：[\[Mechine Learning & Algorithm\] 神经网络基础][Mechine Learning _ Algorithm_]）

假设，你有这样一个网络层：

![853467-20160630141449671-1058672778.png][]

第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

现在对他们赋上初值，如下图：

![853467-20160630142019140-402363317.png][]

其中，输入数据 i1=0.05，i2=0.10;

输出数据 o1=0.01,o2=0.99;

初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;

w5=0.40,w6=0.45,w7=0.50,w8=0.55

目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。

Step 1 前向传播

1.输入层---->隐含层：

计算神经元h1的输入加权和：

![853467-20160630142915359-294460310.png][]

神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：

![853467-20160630150115390-1035378028.png][]

同理，可计算出神经元h2的输出o2：

![853467-20160630150244265-1128303244.png][]

2.隐含层---->输出层：

计算输出层神经元o1和o2的值：

![853467-20160630150517109-389457135.png][]

![853467-20160630150638390-1210364296.png][]

这样前向传播的过程就结束了，我们得到输出值为\[0.75136079 , 0.772928465\]，与实际值\[0.01 , 0.99\]相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

Step 2 反向传播

1.计算总误差

总误差：(square error)

![853467-20160630151201812-1014280864.png][]

但是有两个输出，所以分别计算o1和o2的误差，总误差为两者之和：

![853467-20160630151457593-1250510503.png][]

![853467-20160630151508999-1967746600.png][]

![853467-20160630151516093-1257166735.png][]

2.隐含层---->输出层的权值更新：

以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

![853467-20160630151916796-1001638091.png][]

下面的图可以更直观的看清楚误差是怎样反向传播的：

![853467-20160630152018906-1524325812.png][]

现在我们来分别计算每个式子的值：

计算![853467-20160630152206781-7976168.png][]：

![853467-20160630152258437-1960839452.png][]

计算![853467-20160630152417109-711077078.png][]：

![853467-20160630152511937-1667481051.png][]

（这一步实际上就是对sigmoid函数求导，比较简单，可以自己推导一下）

计算![853467-20160630152625593-2083321635.png][]：

![853467-20160630152658109-214239362.png][]

最后三者相乘：

![853467-20160630152811640-888140287.png][]

这样我们就计算出整体误差E(total)对w5的偏导值。

回过头来再看看上面的公式，我们发现：

![853467-20160630153103187-515052589.png][]

为了表达方便，用![853467-20160630153202812-585186566.png][]来表示输出层的误差：

![853467-20160630153251234-1144531293.png][]

因此，整体误差E(total)对w5的偏导公式可以写成：

![853467-20160630153405296-436656179.png][]

如果输出层误差计为负的话，也可以写成：

![853467-20160630153514734-1544628024.png][]

最后我们来更新w5的值：

![853467-20160630153614374-1624035276.png][]

（其中，![853467-20160630153700093-743859667.png][]是学习速率，这里我们取0.5）

同理，可更新w6,w7,w8:

![853467-20160630153807624-1231975059.png][]

3.隐含层---->隐含层的权值更新：

方法其实与上面说的差不多，但是有个地方需要变一下，在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

![853467-20160630154317562-311369571.png][]

计算![853467-20160630154712202-1906007645.png][]：

![853467-20160630154758531-934861299.png][]

先计算![853467-20160630154958296-1922097086.png][]：

![853467-20160630155015546-1106216279.png][]

![853467-20160630155036406-964647962.png][]

![853467-20160630155117656-1905928379.png][]

![853467-20160630155158468-157032005.png][]

同理，计算出：

![853467-20160630155310937-2103938446.png][]

两者相加得到总值：

![853467-20160630155435218-396769942.png][]

再计算![853467-20160630155555562-1422254830.png][]：

![853467-20160630155628046-229505495.png][]

再计算![853467-20160630155731421-239852713.png][]：

![853467-20160630155706437-964861747.png][]

最后，三者相乘：

![853467-20160630155827718-189457408.png][]

为了简化公式，用sigma(h1)表示隐含层单元h1的误差：

![853467-20160630160345281-679307550.png][]

最后，更新w1的权值：

![853467-20160630160523437-1906004593.png][]

同理，额可更新w2,w3,w4的权值：

![853467-20160630160603484-1471434475.png][]

这样误差反向传播法就完成了，最后我们再把更新的权值重新计算，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。迭代10000次后，总误差为0.000035085，输出为\[0.015912196,0.984065734\](原输入为\[0.01,0.99\]),证明效果还是不错的。

[853467-20160630140644406-409859737.png]: /images/20220521/eb26b127551342359c490f4b8e85ce77.png
[Mechine Learning _ Algorithm_]: http://www.cnblogs.com/maybe2030/p/5597716.html
[853467-20160630141449671-1058672778.png]: /images/20220521/70a39565bdfc4a1f8b7499200463c9df.png
[853467-20160630142019140-402363317.png]: /images/20220521/0d54b46cc31b4cc3aa1ff8ae4d1a9aa8.png
[853467-20160630142915359-294460310.png]: /images/20220521/16896c7012314e8ab4c56257d28ffd5d.png
[853467-20160630150115390-1035378028.png]: /images/20220521/9d707718104d4c54a947a8378e4cbe7e.png
[853467-20160630150244265-1128303244.png]: /images/20220521/96404d1ce9cb4686a2c2b8f4131cd7a1.png
[853467-20160630150517109-389457135.png]: /images/20220521/55abac6c00d345f780e369f061ff2839.png
[853467-20160630150638390-1210364296.png]: /images/20220521/63d99b86fe914174af78fef0b4aac902.png
[853467-20160630151201812-1014280864.png]: /images/20220521/4a94d31edee5457f8965503426c752ce.png
[853467-20160630151457593-1250510503.png]: /images/20220521/4f96c8ad0f104b05aac5b8a3f8a91423.png
[853467-20160630151508999-1967746600.png]: /images/20220521/92519e8f47f14d56891200ddb35f6699.png
[853467-20160630151516093-1257166735.png]: /images/20220521/0bcf1536da8f4d26a1673b9a4a70eb5e.png
[853467-20160630151916796-1001638091.png]: /images/20220521/697e9f07d34d49af9ab8924fa176b7e9.png
[853467-20160630152018906-1524325812.png]: /images/20220521/7fb58f0ae8304c958bd2d833dd679a0b.png
[853467-20160630152206781-7976168.png]: /images/20220521/ea69d3852f1e4a3c8b1f10623550b880.png
[853467-20160630152258437-1960839452.png]: /images/20220521/ad8e38eba27a4df09eecee7c3126f916.png
[853467-20160630152417109-711077078.png]: /images/20220521/9157fd6635ab42d09928aece317c17d8.png
[853467-20160630152511937-1667481051.png]: /images/20220521/7d319e72fe7b48bea3032026a9fa8bf7.png
[853467-20160630152625593-2083321635.png]: /images/20220521/213d43a3d8fb4a519936398f94433233.png
[853467-20160630152658109-214239362.png]: /images/20220521/587f6576dd704392bf2531416f16a255.png
[853467-20160630152811640-888140287.png]: /images/20220521/ec43b10a32874f0cba658762ef5fd9f9.png
[853467-20160630153103187-515052589.png]: /images/20220521/eafe7b4a3ca44a4aa3f3cd679c880103.png
[853467-20160630153202812-585186566.png]: /images/20220521/7449abc9792e495fb4affd542efb42ff.png
[853467-20160630153251234-1144531293.png]: /images/20220521/f496bafdce8f458d8df34050854ba24e.png
[853467-20160630153405296-436656179.png]: /images/20220521/6d50f0b8573244ad83a621397b6a0c86.png
[853467-20160630153514734-1544628024.png]: /images/20220521/a322a20e215b4c6f90b3b217b3365f05.png
[853467-20160630153614374-1624035276.png]: /images/20220521/3d47c5415fb2426e8cf849200b66c196.png
[853467-20160630153700093-743859667.png]: /images/20220521/f23ffc2d601e4d9a9eab88da30dfbfbd.png
[853467-20160630153807624-1231975059.png]: /images/20220521/1aa28cf3d5b24ed0af4a5c96330e7d4c.png
[853467-20160630154317562-311369571.png]: /images/20220521/3aeb6ddb6b7240609bdbad5d839dd910.png
[853467-20160630154712202-1906007645.png]: /images/20220521/5adc0665c8004965ada383583d4ee329.png
[853467-20160630154758531-934861299.png]: /images/20220521/d7171b39533c4e82af17da10a6b84833.png
[853467-20160630154958296-1922097086.png]: /images/20220521/db1cb28a6592475ea17c50b14fce3b64.png
[853467-20160630155015546-1106216279.png]: /images/20220521/dfdf1892d08448c083e87196515ab68e.png
[853467-20160630155036406-964647962.png]: /images/20220521/5c1a816a16dc4226baa77d8f5950cbec.png
[853467-20160630155117656-1905928379.png]: /images/20220521/57dd2566ed094f06b75b5436c1e206b1.png
[853467-20160630155158468-157032005.png]: /images/20220521/470cca1132004eceadc1355261e86065.png
[853467-20160630155310937-2103938446.png]: /images/20220521/8f82bdbc4d8d44c0b939575a481344dd.png
[853467-20160630155435218-396769942.png]: /images/20220521/314a9cbaf3434be6a86f22788b3e10cb.png
[853467-20160630155555562-1422254830.png]: /images/20220521/f47b7d77b301436c9193b90ceef34d2a.png
[853467-20160630155628046-229505495.png]: /images/20220521/478c44b6270542d4a606f1a3d0612750.png
[853467-20160630155731421-239852713.png]: /images/20220521/40f183b1bca041b9ab85b9a57afac73d.png
[853467-20160630155706437-964861747.png]: /images/20220521/f1eedec1540f496996df98dbab54f6c7.png
[853467-20160630155827718-189457408.png]: /images/20220521/61af08489f7d4624b7a4ed4367912769.png
[853467-20160630160345281-679307550.png]: /images/20220521/fc485eaf1f7a4857a8b0f03fbc0e5a4d.png
[853467-20160630160523437-1906004593.png]: /images/20220521/6c125fdf55f046bd8c1ee7e22a907dbc.png
[853467-20160630160603484-1471434475.png]: /images/20220521/7ba39e91ed1a48fa99dbd281614683d3.png