【深度学习基础】反向传播BP算法原理详解及实战演示（附源码）

迷南。 2023-10-09 20:42 27阅读 0赞

> **需要源码请点赞关注收藏后评论区留言私信~~~**

神经网络的设计灵感来源于生物学上的神经网络。如图所示，每个节点就是一个神经元，神经元与神经元之间的连线表示信息传递的方向。Layer 1表示输入层，Layer 2、Layer 3表示隐藏层，Layer 4表示输出层。我们希望通过神经网络，对输入数据进行某种变换，从而获得期望的输出，换句话说，**神经网络就是一种映射，将原数据映射成期望获得的数据**。BP算法就是其中的一种映射，下面通过一个具体的例子来演示BP算法的过程

![3dda6dd7438a447f8390c5f5056e6cda.png][]

假设现在的网络层如图 所示，第一层有两个神经元x1、x2，一个截距项c1；第二层有两个神经元y1、y2，一个截距项c2；第三层是输出，有两个神经元h1、h2；每条线上表示神经元之间连接的权重（具体数值如图 1‑2所示），激活函数σ选用Sigmoid函数。Sigmoid函数及其对x的导数如下所示：

![812d55ba4aad4bf28182b980e22933e6.png][]

![f0613d8161834d0fa1ac1aedcbafaad5.png][]

输入：x\_1=0.05, x\_2=0.1，目标：输出h1、h2尽可能接近\[0.03, 0.05\]

## 1：前向传播 ##

输入层->隐藏层

![640fbfec8a4a4522a02163f527aecd77.png][]

![6398db584ded4916af78ccd99a2a89a2.png][]

隐藏层->输出层

![87c67f34bda54ae4a01369f41d133c67.png][]

至此，已经完成了前向传播的过程，此时输出为\[0.694,0.718\]，和期望的输出\[0.03, 0.05\]相差较大。接下来，通过反向传播，更新每条边上的权值，重新计算输出

![cb887a5da8554d2f917311d122a15104.png][]

## 2：反向传播 ##

计算总误差：均方误差作为我们的总误差函数

![c26eef99a671434fa3aa05b6c9abc28b.png][]

target\_outℎ\_i表示第i个真实值；out\_ℎ\_i表示预测值；N取值为2

因为每个权值对误差都产生了影响，我们希望了解每个权值对误差产生了多少影响，可以用整体误差对特定的权值求偏导来实现这一目的。从输出层到隐藏层，共有5个参数需要更新，分别为b11，b12，b21，b22，c2。以b22为例，通过链式法则进行计算，如下式：

![5e5e4e152b3a4bc495dc35bac3f69af7.png][]

![b184f81fd1f247fa81edc0aa525ae1aa.png][]

![1c4eb34a3fca485eb39d6cdbb97baace.png][]

![5df13d3fbf5e4b2c8df599127d8f0f46.png][]

其中ρ表示学习率，本例设定为0.5。同理可得：b\_11^new=0.458，b\_12^new=0.560，b\_21^new=0.658

对于偏置项，求解方法类似，但由于偏置项对于每个神经元的损失都有贡献，所以应为对每个神经元求偏导后再求和。由于最后一项在本例中求导后值为1，一般情况下都为1，故可简化

![2c74f58506ce48ef8409b43537932b40.png][]

隐藏层->输入层

方法与“输出层—>隐藏层”类似，但是有一点区别。如图 ，可以发现神经元h1向后就直接输出了，没有再输入下一个神经元，而神经元y1的输出值要输入到神经元h1、h2，导致神经元y1会接受来自h1、h2两个神经元传递的误差，因此h1、h2均要计算

从隐藏层到输入层，共有5个参数需要更新，分别为a11，a12，a21，a22，c1，以a11为例计算

式中几项偏微分均已在输出层—>隐藏层的权值更新中有相应的计算公式

![d4c3ffab79054f6b8b375652316cf82a.png][]

同理可得，a\_12^new=0.199，a\_21^new=0.298，a\_22^new=0.398

偏置项的求法与输出层->隐含层方法一致，这里不再赘述，但应注意的是c1的更新与y1、y2、h1、h2均有关系，带入数值可得：c\_1^new=0.307

至此，所有参数均已更新完毕

利用更新完毕之后的参数可以计算得到新的输出为\[0.667, 0.693\] （原来的输出为\[0.694, 0.718\]，目标输出为\[0.03, 0.05\]） 新的总误差为0.44356（原来的总误差为0.444）

通过新的权值计算，可以发现输出值与目标值逐渐接近，总误差逐渐减小，随着迭代次数的增加，输出值会与目标值高度相近

## 3:Numpy实现反向传播算法 ##

### 1：导入数据集 ###

数据集采用sklearn.make\_moons()数据集（下图），并借助sklearn包进行数据预处理，数据集可视化如下

![3ea4d99685c748afb345866799bf3e42.png][]

### 2：预处理 ###

我们的模型基于梯度下降的优化方式算法，为了让这类算法能更好的优化神经网络，我们需要对数据集进行归一化，我们借用sklearn的库函数完成

重新搭建一个两层的神经网络，如图所示

![e72c886ad8f94c39b604429ad27a521b.png][]

其中X是一个p×q的矩阵。选取交叉熵损失函数作为该神经网络的损失函数。学习率为0.05，采用梯度下降法进行参数更新

对于权重矩阵W及偏置矩阵B，采用随机初始化的方法。W和B的纬度较高时，不易手工初始化。且若W和B初始化为0或者同一个值，会导致在梯度下降的更新过程中梯度保持相等，权值相同，导致不同的隐藏单元都以相同的函数或函数值作为输入，可以通过参数的随机初始化打破这种僵局。  
同时要注意参数初始化应合理，否则会出现梯度消失或梯度爆炸

在实现sigmoid时，当x很大的时候，会存在上溢问题，我们可以使用scipy.expit()实现sigmoid

至此，我们完成了基本框架的搭建，现在我们编写训练模型 我们假定 学习率为0.05

### 3：训练和测试 ###

![d74be1817c684e528072e0ade1a8875f.png][]

测试集预测结果如下

定义预测函数，在测试集上通过以下代码预测，并将预测结果可视化，可以发现可以较为明显的将数据集分为两类

![1680e5bcdb3348f9b02f02299e19406d.png][]

误差绘图如下 可见在迭代次数在300次左右时基本已经趋于稳定

![ce7a3ff40e4849f6a5ee47407deaecc7.png][]

最后 部分代码如下

# 导入模块
    import numpy as np
    import matplotlib.pyplot as plt
    %matplotlib inline
    from matplotlib.colors import ListedColormap
    from sklearn.datasets import make_moons
    X, y = make_moons(n_samples=2000, noise=0.4, random_state=None)
    # 将数据集可视化
    plt.figure(figsize=(8, 8))
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=ListedColormap(['#B22222', '#87CEFA']), edgecolors='k')
    # 60%作为训练集，40%作为测试集
    from sklearn.model_selection import train_test_split
    trainX, ard.fit_transform(trainX)
    
    # 使用标准化器在训练集上的均值和标准差，对测试集进行归一化
    testX = standard.transform(testX)# 定义神经网络
    # 我们选用较简单的神经网络，它只有两个参数，W（权重矩阵）和 B（偏置矩阵）
    def _init_(q):
        # q：W的维度(也就是有 q 个神经元)
        # 我们将 W 与 B 随机初始化
        np.ranB
    def train(trainX, trainY, testX, testY, W, B, epochs, flag):
        # trainX: np.ndarray, 训练集, 维度 = (p,q)
        # trainY: np.ndarray, 训练集标签， 维度 = (p, )
        # testX: np.ndarray, 测试集, 维度 = (m,q)
        # testY: np.ndarray, 测试集标签， 维度 = (m, )
        # W：np.ndarray, 权重矩阵, 维度 = (q,)
        # B: np.ndarray, 偏置项， 维度 = (1,)
        # epochs: 迭代次数
        # flag: flag == True 打印损失值\\ flag == False不打印损失值
    
        train_loss_list = []
        test_loss_list = []
        for i in range(epochs):
            # 训练集
            pred_train_Y = forward(trainX, W, B)
            train_loss = loss_func(trainY, pred_train_Y)
            
            # 测试集
            pred_test_Y = forward(testX, W, B)
            test_loss = loss_func(testY, pred_test_Y)
            
            if flag == True:
                print('the traing loss of %s epoch : %s'%(i+1, train_loss))
                print('the test loss of %s epoch : %s'%(i+1, test_loss))
                print('=========================')
            
            train_loss_list.append(train_loss)
            test_loss_list.append(test_loss)
            
            #反向传播
            backword(W, B, trainY, pred_train_Y, trainX, learning_rate)
        return train_loss_list, test_loss_list
    def predict(X, W, B):
        # X: np.ndarray, 训练集, 维度 = (n, m)
        # W: np.ndarray, 参数, 维度 = (m, 1)
        # B: np.ndarray, 参数b, 维度 = (1, )
        
        y_pred = forward(X,W,B)
        n = len(y_pred)
        prediction = np.zeros((n,1))
        for i in range(n):
            if y_pred[i] > 0.5:
                prediction[i,0] = 1
            else:
                prediction[i,0] = 0
        return prediction
    def plot_loss(train_loss_list, test_loss_list):
        plt.figure(figsize = (10,8))
        plt.plot(train_loss_list, label='train_loss')
        plt.plot(test_loss_list, label='test_loss')
        
        plt.xlabel('epoch')
        plt.ylabel('loss')
        plt.legend()

**创作不易 觉得有帮助请点赞关注收藏~~~**

[3dda6dd7438a447f8390c5f5056e6cda.png]: https://img-blog.csdnimg.cn/3dda6dd7438a447f8390c5f5056e6cda.png
[812d55ba4aad4bf28182b980e22933e6.png]: https://img-blog.csdnimg.cn/812d55ba4aad4bf28182b980e22933e6.png
[f0613d8161834d0fa1ac1aedcbafaad5.png]: https://img-blog.csdnimg.cn/f0613d8161834d0fa1ac1aedcbafaad5.png
[640fbfec8a4a4522a02163f527aecd77.png]: https://img-blog.csdnimg.cn/640fbfec8a4a4522a02163f527aecd77.png
[6398db584ded4916af78ccd99a2a89a2.png]: https://img-blog.csdnimg.cn/6398db584ded4916af78ccd99a2a89a2.png
[87c67f34bda54ae4a01369f41d133c67.png]: https://img-blog.csdnimg.cn/87c67f34bda54ae4a01369f41d133c67.png
[cb887a5da8554d2f917311d122a15104.png]: https://img-blog.csdnimg.cn/cb887a5da8554d2f917311d122a15104.png
[c26eef99a671434fa3aa05b6c9abc28b.png]: https://img-blog.csdnimg.cn/c26eef99a671434fa3aa05b6c9abc28b.png
[5e5e4e152b3a4bc495dc35bac3f69af7.png]: https://img-blog.csdnimg.cn/5e5e4e152b3a4bc495dc35bac3f69af7.png
[b184f81fd1f247fa81edc0aa525ae1aa.png]: https://img-blog.csdnimg.cn/b184f81fd1f247fa81edc0aa525ae1aa.png
[1c4eb34a3fca485eb39d6cdbb97baace.png]: https://img-blog.csdnimg.cn/1c4eb34a3fca485eb39d6cdbb97baace.png
[5df13d3fbf5e4b2c8df599127d8f0f46.png]: https://img-blog.csdnimg.cn/5df13d3fbf5e4b2c8df599127d8f0f46.png
[2c74f58506ce48ef8409b43537932b40.png]: https://img-blog.csdnimg.cn/2c74f58506ce48ef8409b43537932b40.png
[d4c3ffab79054f6b8b375652316cf82a.png]: https://img-blog.csdnimg.cn/d4c3ffab79054f6b8b375652316cf82a.png
[3ea4d99685c748afb345866799bf3e42.png]: https://img-blog.csdnimg.cn/3ea4d99685c748afb345866799bf3e42.png
[e72c886ad8f94c39b604429ad27a521b.png]: https://img-blog.csdnimg.cn/e72c886ad8f94c39b604429ad27a521b.png
[d74be1817c684e528072e0ade1a8875f.png]: https://img-blog.csdnimg.cn/d74be1817c684e528072e0ade1a8875f.png
[1680e5bcdb3348f9b02f02299e19406d.png]: https://img-blog.csdnimg.cn/1680e5bcdb3348f9b02f02299e19406d.png
[ce7a3ff40e4849f6a5ee47407deaecc7.png]: https://img-blog.csdnimg.cn/ce7a3ff40e4849f6a5ee47407deaecc7.png