全连接的BP神经网络

谁践踏了优雅 2021-07-16 17:08 450阅读 0赞

**《全连接的BP神经网络》**

本文主要描述全连接的BP神经网络的前向传播和误差反向传播，所有的符号都用Ng的Machine learning的习惯。下图给出了某个全连接的神经网络图。

![261542552349367.png][]

# 1前向传播 #

## 1.1前向传播 ##

分别计算第*l*层神经元的输入和输出；

### 1.1.1偏执项为1时 ###

向量整体形式：

![261542560624254.png][]

分量形式：

![261542573442213.png][]

### 1.1.2偏执项为b时 ###

向量整体形式：

![261542577975284.png][]

分量形式：

![261542589848512.png][]

## 1.2网络误差 ##

### 1.2.1偏执项为1时 ###

对于某一个输入样本，它的输出为![261542595785627.png][]，它所对应的真实输出应该为![261543005316785.png][]，那么，该样本对应的误差*E*为

![261543010788885.png][]     （1）

注意到输出层的第*k*个神经元的输出![261543017816500.png][]可以计算如下：

![261543025318129.png][]    （2）

那么，误差*E*可以展开至隐藏层(第*L*\-1层)的形式

![261543029842202.png][]    （3）

又注意到隐藏层(第*L*\-1层)的第*j*个神经元的输出![261543036878816.png][]可以计算如下：

![261543053447589.png][]    (4)

那么，误差*E*进一步展开至隐藏层(第*L*\-2层)

![261543056871161.png][]    (5)

可以发现，*E*是权值![261543060787746.png][]的函数。

### 1.2.2偏执项为b时 ###

对于某一个输入样本，它的输出为![261543064538560.png][]，它所对应的真实输出应该为![261543068905862.png][]，那么，该样本对应的误差*E*为

![261543072656676.png][]     (6)

注意到输出层的第*k*个神经元的输出![261543076256018.png][]可以计算如下：

![261543080006833.png][]     (7)

那么，误差*E*可以展开至隐藏层(第*L*\-1层)的形式

![261543086252191.png][]     (8)

又注意到隐藏层(第*L*\-1层)的第*j*个神经元的输出![261543090003005.png][]可以计算如下：

![261543103758992.png][]     (9)

那么，误差*E*进一步展开至隐藏层(第*L*\-2层)

![261543107197265.png][]     (10)

可以发现，*E*是权值![261543111568864.png][]和偏执项![261543116728423.png][]的函数。

# 2误差反向传播中的敏感度 #

![261543127819394.png][]

某一层的敏感度的定义为：网络的误差对该层的输入的偏导数，即![261543132343466.png][]

## 2.1偏执项为1时的敏感度 ##

### 2.1.1输出层的敏感度 ###

输出层（第*L*层）的第*k*个神经元的敏感度定义如下：

![261543140784124.png][]

为了计算该敏感度，利用链式法则，引入中间变量![261543157651140.png][]（第*L*层的第*k*个神经元的输出）：

![261543165626783.png][]     (11)

首先，计算![261543173128412.png][]：

![261543178757283.png][]

然后，计算![261543186093142.png][]：

![261543190479442.png][]

这里的*f*为sigmoid函数，有：![261543195624300.png][]

从而可以得到：

![261543201253171.png][]     (12)

那么，第*L*层的所有神经元的敏感度为：

![261543213122101.png][]     (13)

### 2.1.2其他层 ###

计算第*L*\-1层的第*j*个神经元的敏感度，定义如下：

![261543218129187.png][]

为了计算该敏感度，利用链式法则，引入中间变量![261543223284044.png][]（第*L*\-1层的第*j*个神经元的输出）：

![261543234697960.png][]     (14)

首先，计算![261543242038116.png][]：

![261543253598803.png][]

其中：![261543260783190.png][]

则有：![261543276876948.png][]

然后，计算![261543280319519.png][]：![261543286099863.png][]

从而可以得到：

![261543299691080.png][]     (15)

其中：![261543312038322.png][]

那么，第*L*\-1层的所有神经元的敏感度为

![261543324846280.png][]     (16)

以上推导是由第*L*层的敏感度计算第*L*\-1层的敏感度，那么，利用递推方法可以得到第*l*层的敏感度的计算方法（*l*=L-1,…,2）：

![261543331727125.png][]     (17)

## 2.2偏执项为b时的敏感度 ##

推导过程中，只有一处发生改变，即隐藏层的![261543342509852.png][]计算式发生如下改变，但结果并没有改变，所以不会对最终的敏感度的计算公式造成影响：

![261543355479283.png][]

# 3梯度的计算 #

## 3.1单个样本（偏执项为1时）的梯度 ##

此时的待优化参数只有权值矩阵中的元素，计算误差*E*对第*l*层的权值矩阵的偏导数：

![261543370629312.png][]

对于其中的某一个元素，计算如下：

![261543380782256.png][]

那么，整个求导矩阵计算如下：

![261543392034699.png][]

即：![261543406725416.png][]

## 3.2单个样本（偏执项为b时）的梯度 ##

此时的待优化参数为权值矩阵中的元素和偏执项b；

首先计算误差*E*对第*l*层的权值矩阵的偏导数：

![261543417342373.png][]

对于其中的某一个元素，计算如下：

![261543437979204.png][]

那么，整个求导矩阵计算如下：

![261543441402776.png][]

接下来，计算误差*E*对第*l*层的偏执项矩阵的偏导数：

![261543455477005.png][]

对于其中的某一个元素，计算如下：

![261543460949105.png][]

所以，整个偏执项求得到计算如下：

![261543466729449.png][]

## *3.3m*个样本的梯度求解（未加入其他惩罚项） ##

如前所述，对于单个样本而言，它的代价函数为*E*，现在有*m*个训练样本，它的代价函数应该为所有样本的代价函数的均值，用*Ei*表示第*i*个训练样本的代价函数（也就是前文一直使用的代价函数），*E*表示所有样本的代价函数，则它们有如下关系：

![261543474842863.png][]

则有：

![261543480623207.png][]     (18)

如果有偏执项*b*的话，则有

![261543485004806.png][]     (19)

如果有*m*个样本，前面计算所得得到的![261543489537878.png][]和![261543500624551.png][]都是矩阵，它们的每一列是每个样本对应的第*l*层的敏感度和输出值。那么，可以按照如下方式计算*m*个样本所对应的梯度值：

（1）偏执项为1

![261543520151882.png][]     (20)

（2）偏执项为b

![261543528758309.png][]     (21)

![261543536402411.png][]     (22)

# 4加了正则化项和稀疏项后 #

## 4.1网络误差 ##

加入了正则化项和稀疏项后的网络误差计算公式如下：

![261543542656768.png][]     (23)

其中：

![261543547503382.png][]

*J*1、*J*2和*J*3的计算方法分别如下：

![261543554848240.png][] 第*k*个隐藏层中*j*个神经元的相对熵![261543562506640.png][]的计算公式如下：

![261543573285070.png][]     (24)

其中：![261543577979614.png][]，![261543585154000.png][]为第*k*个隐藏层中*j*个神经元相对于第*i*个输入样本的激励值，而![261543594841930.png][]为第*k*个隐藏层中*j*个神经元相对于所有输入样本激励值的均值。

## 4.2网络代价函数的偏导数 ##

网络代价函数的偏导数：

![261544002196787.png][]

其中：

![261544008289672.png][]

![261544022501674.png][]

![261544029225747.png][]

（1）偏执项为1时

![261544039534461.png][]     (25)

（2）偏执项为b时

![261544065781163.png][]     (26)

## 4.3敏感度的计算 ##

加入了权值惩罚项和稀疏项后，输出层的敏感度计算不发生变化，而其余各层的敏感度公式变为如下：

![261544078124107.png][]     (27)

# 5计算流程 #

1.  利用前向传播算法计算各层的激励值
    
    ![261544085943980.png][]
2.  计算整个网络的代价函数
    
    利用式 (23) 
    
    ![261708417341452.jpg][]
3.  利用反向传播算法计算各层的敏感度
    
    ![261544147977541.png][]
4.  计算代价函数对权值矩阵和偏执项的梯度
    
    利用式(26)计算代价函数对权值矩阵和偏执项的梯度
    
    ![261544214373703.png][]

[261542552349367.png]: /images/20210716/4ddf1b8fe254433b86a008b6326c9be6.png
[261542560624254.png]: /images/20210716/066b4865bd4c4fbcb821d5b71dbac6a0.png
[261542573442213.png]: /images/20210716/3feecb8e38c34ab79d128a591900f8ee.png
[261542577975284.png]: /images/20210716/dcbba89993fa4dc8999359e1d38e0218.png
[261542589848512.png]: /images/20210716/b49f75908df749d1a7d0276e822f5120.png
[261542595785627.png]: http://images0.cnblogs.com/blog/736761/201508/261542595785627.png
[261543005316785.png]: /images/20210716/87894310f38d4d43addd46c3110dcee3.png
[261543010788885.png]: /images/20210716/4a6ac42c35884f8f960c5f9347e77fe4.png
[261543017816500.png]: /images/20210716/514f486874aa4f2bacd93dda6a61ccd9.png
[261543025318129.png]: /images/20210716/b9c1b12fac8248a6895fc365033ee111.png
[261543029842202.png]: /images/20210716/e42a1a23ec294ac98edd09544bd8a62d.png
[261543036878816.png]: /images/20210716/4ea60f7b04d643d39c0eaef84fe23873.png
[261543053447589.png]: /images/20210716/71a9ba94559f4533aded3d7e8e182126.png
[261543056871161.png]: /images/20210716/0eb0bd7c94ab422583062851a53de5df.png
[261543060787746.png]: /images/20210716/494a4793f29a462484cf4918cb3996c6.png
[261543064538560.png]: http://images0.cnblogs.com/blog/736761/201508/261543064538560.png
[261543068905862.png]: /images/20210716/5b36b6e53277426baabe30b81163d010.png
[261543072656676.png]: /images/20210716/cab2a3d9658844c4801d6297c8806430.png
[261543076256018.png]: /images/20210716/cb74b80634384fa78ad3693759e29508.png
[261543080006833.png]: /images/20210716/d0b8bff86ac044b9a931c07b8a1f22db.png
[261543086252191.png]: /images/20210716/3f706091fb6e4b999131dcad9d59b35c.png
[261543090003005.png]: /images/20210716/f59f1a5b5b514dcbb0229c0578c5859a.png
[261543103758992.png]: /images/20210716/3ec73759605a4d778eb32b459015c913.png
[261543107197265.png]: /images/20210716/e9b3198d6b95442297da613cf834d395.png
[261543111568864.png]: http://images0.cnblogs.com/blog/736761/201508/261543111568864.png
[261543116728423.png]: /images/20210716/11dd3de1f14a4d1ab5ff1b7f4c7dd69a.png
[261543127819394.png]: /images/20210716/5db7ed92e4a042c689096bd53fd34dd4.png
[261543132343466.png]: /images/20210716/e32bc0a565d84d1091b5f2cd25c07c6b.png
[261543140784124.png]: /images/20210716/8df1d68e437b42088d8a8b2460b3d264.png
[261543157651140.png]: /images/20210716/e92161ab66274c94bebded6b5e4d7964.png
[261543165626783.png]: /images/20210716/f88fe3d5358343dc8799b2a32e31ba87.png
[261543173128412.png]: /images/20210716/64b9dabd163a48da8637d5da4c7ac4ec.png
[261543178757283.png]: /images/20210716/9f866f1a3d944786ab968b338847c7b5.png
[261543186093142.png]: /images/20210716/73f8d5c2c21444708e269d60bfda25d4.png
[261543190479442.png]: /images/20210716/bb315666c5ef4ea9839aa003cea7d72f.png
[261543195624300.png]: /images/20210716/ae3d30f96f0c4683a3ffc5be457f0032.png
[261543201253171.png]: /images/20210716/89eb08b8719d4ba3be278dfb2e94ee37.png
[261543213122101.png]: /images/20210716/95d65539e56d41bb985268a4f1e4af42.png
[261543218129187.png]: /images/20210716/026f70eeed7c46b7b71d94e56572ba8a.png
[261543223284044.png]: /images/20210716/c336beaf35784c728a95e8781887dce7.png
[261543234697960.png]: /images/20210716/ec03ba942f3d40c7947b9ac8dde7c199.png
[261543242038116.png]: /images/20210716/fb445f9b38014387b914c6a862286179.png
[261543253598803.png]: /images/20210716/1569054e137d44e38c33f9ce3aa50d3c.png
[261543260783190.png]: /images/20210716/490eb15573b246e2a4ab7e854c3e55c7.png
[261543276876948.png]: /images/20210716/87e65b4042af4d0daa194ce1adccddf8.png
[261543280319519.png]: http://images0.cnblogs.com/blog/736761/201508/261543280319519.png
[261543286099863.png]: /images/20210716/d3a20e255d614f058e5fec4eb0a3256c.png
[261543299691080.png]: /images/20210716/fefc46903567433697162dcb1395571f.png
[261543312038322.png]: /images/20210716/2b508578e43b48b0890d300e1a87e67a.png
[261543324846280.png]: /images/20210716/676c72cd501f4959ab548d8d621f3487.png
[261543331727125.png]: /images/20210716/2bb64bc86b5340cd80fa41b1ec1d2c9f.png
[261543342509852.png]: /images/20210716/613259cbee3b48adb35bded61e8db8cf.png
[261543355479283.png]: /images/20210716/b8283bc1564a41e19ed2256e02ce0783.png
[261543370629312.png]: /images/20210716/b3c3a90f9e7a443bbfc600a76a4b9b36.png
[261543380782256.png]: /images/20210716/5997a37263ea417c9348ee3a2564f1e9.png
[261543392034699.png]: /images/20210716/ca9b1923c5594a808271d7ff49073c43.png
[261543406725416.png]: /images/20210716/1bf5ae6cff4e49b5a90619d6db3701de.png
[261543417342373.png]: /images/20210716/aa279eb491244cadb1e8ebe93fdc2ee3.png
[261543437979204.png]: /images/20210716/a1561a58eb9c408a99eb6a9468741a95.png
[261543441402776.png]: /images/20210716/9f81a5b24bfa42859674c01330007732.png
[261543455477005.png]: /images/20210716/2c4716d00eed43abbcb05316d4c299f8.png
[261543460949105.png]: /images/20210716/31eb9411fe83454d8405ffffa7655954.png
[261543466729449.png]: /images/20210716/f1c4eb1bda464d9590248a3c603b1e6e.png
[261543474842863.png]: /images/20210716/4da59b95c7594a26a89e3651b92b36a1.png
[261543480623207.png]: /images/20210716/3baf209ae3c04d27848fb2dd22bb7079.png
[261543485004806.png]: /images/20210716/2265f1bfdf0e49dcb0b62ff605c9275f.png
[261543489537878.png]: http://images0.cnblogs.com/blog/736761/201508/261543489537878.png
[261543500624551.png]: /images/20210716/16020b7c175b482db2caa05f1143796f.png
[261543520151882.png]: /images/20210716/58a9a5b6f835429c896852c35185be02.png
[261543528758309.png]: /images/20210716/87d481c56bf0437abab5361ac9745979.png
[261543536402411.png]: /images/20210716/3e2a05bac59247ddbf57bae7669f05bb.png
[261543542656768.png]: /images/20210716/9190f5f490434c3bb5a10e19eb62d980.png
[261543547503382.png]: /images/20210716/ccd1155088694a90aebc3b0260b972f7.png
[261543554848240.png]: http://images0.cnblogs.com/blog/736761/201508/261543554848240.png
[261543562506640.png]: /images/20210716/9606d486d86147b1bd681adb191bf075.png
[261543573285070.png]: /images/20210716/dd712406ffca40b9b95e3721cc37c6e5.png
[261543577979614.png]: http://images0.cnblogs.com/blog/736761/201508/261543577979614.png
[261543585154000.png]: http://images0.cnblogs.com/blog/736761/201508/261543585154000.png
[261543594841930.png]: /images/20210716/ea7ae80e34694a1cb36d583c83a8145d.png
[261544002196787.png]: /images/20210716/8fed1bdd5b074d4b872463f9166e2cf1.png
[261544008289672.png]: /images/20210716/df3a373cb09342ceb22f5f06077b7674.png
[261544022501674.png]: /images/20210716/d70aa8c9baf049d5a2a627a925ab18ac.png
[261544029225747.png]: /images/20210716/bbb8946e75ac4732a1b94ff238ced62a.png
[261544039534461.png]: /images/20210716/27731835f9234cf88a59766a40eb497b.png
[261544065781163.png]: /images/20210716/5bc9d7fa757d4a178c7e23963df7ed40.png
[261544078124107.png]: /images/20210716/d812b5b44ad249088a8fc9071045cddc.png
[261544085943980.png]: /images/20210716/0443a096e9774fed981665412b554eec.png
[261708417341452.jpg]: /images/20210716/f4adad07f5374d64ae11cfed9c182a86.png
[261544147977541.png]: /images/20210716/f2b4008ae0fb466485503428cb369456.png
[261544214373703.png]: /images/20210716/1d9221c4fa0441b79432400f72acc599.png