Python实现BP神经网络和卷积神经网络CNN

妖狐艹你老母 2023-10-15 15:37 23阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88294617  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88294617

## 实验二实验报告 ##

## BP神经网络和卷积神经网络CNN ##

### 一. 实验要求 ###

> 构造一个三层的 BP 神经网络和一个卷积神经网络，完成手写 0-9 数字的识别：
> 
> 1.  设计网络的结构，比如层数，每层的神经元数，单个神经元的输入输出函数；
> 2.  根据数字识别的任务，设计网络的输入和输出；
> 3.  实现 BP 网络的错误反传算法，完成神经网络的训练和测试，最终识别率达到 70% 以上；
> 4.  数字识别训练集可以自己手工制作，也可以网上下载，要求具有可视化图形界面，能够输入输出。
> 
> 5．进一步的，用**卷积神经网络**实现以上任务，对比深度学习与浅层模型。

### 二. 算法原理 ###

#### 1. BP 神经网络 ####

神经元是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。一个典型的神经元如下图所示

![神经元][Image 1]

其中激活函数是一个连续并可导的非线性函数，给神经网络带来非线性部分。

在这次实验里，我选择了两种激活函数，一个是 Sigmoid 类函数中的 Logistic 函数，另外一个是 ReLU 函数。

Logistic 函数方程和导函数方程如下：

![e0d760c69c9370f9226d619f74651ef4.png][]

当输入值在 0 附近时，Sigmoid 型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制. 输入越小，越接近于 0；输入越大，越接近于 1。函数图像如下：

![Logistic][Image 1]

ReLU 函数方程和导函数方程如下：

![cd5ab3a06b9468f8debddaa9437354ac.png][]

采用 ReLU 的神经元只需要进行加、乘和比较的操作，计算上更加高效。ReLU 函数被认为有生物上的解释性，比如单侧抑制、宽兴奋边界。同时采用 ReLU 的神经网络也有很好的稀疏性。

在这次实验中，我实现了一个三层的 BP 神经网络，网络架构大致如下：

![BP][Image 1]

更新参数的时候我们使用反向传播(即 BP 算法)。假设损失函数为 ∂ L ( y , y ^ ) \\partial \\mathcal\{L\}(\\boldsymbol\{y\}, \\hat\{\\boldsymbol\{y\}\}) ∂L(y,y^)，根据链式法则，损失函数相对于神经元权重和偏置的偏导公式为：

![fb1014c1ab56ef64ce966869cdebb291.png][]

由链式法则，令 a ( l ) \\boldsymbol\{a\}^\{(l)\} a(l)代表每一层的激活值， δ ( l ) \\delta^\{(l)\} δ(l)为每一层的误差项，可以得到偏导计算公式如下：

![14a33fd5ccc4a340f7d917704b21b10a.png][]

激活值和误差项都是可以在前向传播的时候算出来的。更新参数时使用梯度下降优化即可。

在本次实验中我的损失函数为

![2e101834534669b6cac425a7040d4fca.png][]

它的导函数十分简单，就是：

![baf599601bc3c8463aa74b7f32cd34e9.png][]

最后算法伪代码如下：

repeat
    	for n in 样本数：
    		获取样本 x_n, y_n
    		前馈计算每一层的激活值a
    		反向传播计算误差项delta
    		//神经网络的权重为W，偏置为b，学习率为k
    		W = W - k (delta * a)
    		b = b - k * delta
    	end
    untill 训练次数结束

#### 2. CNN 卷积神经网络 ####

二维卷积的公式为：

![9a82ea687e1e1952f6b5ecb4d9658192.png][]

在图片上的操作如下图所示：  
![在这里插入图片描述][34641532d9f843abb40aadee46dac1ac.png_pic_center]

不过这次实验我们直接使用 `Pytorch` 框架，这些数学式子不需要我实现。

在 CNN 神经网络里，我们用卷积来代替全连接，这样神经网络会有局部连接和权重共享的特性。此外，我们还会在卷积层之间加上汇聚层，最后还会有全连接层再到输出层。典型的 CNN 网络模型如下：

![在这里插入图片描述][65195c7af09b4d49a3acc1b9fdaf24f3.png_pic_center]

### 三、 实现过程 ###

本次实验采用 MNIST 数据集，像素为 28\*28。数据的输入输出就不赘述了，源代码里面有。

#### 1. BP 神经网络 ####

由于输入图片的像素为 28\*28，所以神经网络的输入层有 28\*28 = 784 个节点。而输出层有 10 个节点，代表该图片对应 10 个数字的概率。

首先是激活函数的实现，`active_f` 是激活函数，`active_f_g` 是对应的导函数。

Sigmoid 激活函数：

def active_f(x):
        return 1 / (1 + np.exp(-x))
    def active_f_g(x):
        return active_f(x) * (1 - active_f(x))

### 四、结果分析 ###

#### 1. BP 神经网络 ####

我分别针对两种激活函数进行测试，分析隐藏层节点数在 `[10, 50, 100, 200, 300]` 的情况下手写数字的识别准确率。

*  Sigmoid
    
    隐藏层节点数与准确率的关系如下图：
    
    ![1][Image 1]
 *  ReLU

将隐藏层节点数与准确率的关系与 Sigmoid 对比如下：

![2][Image 1]

可以看见当隐藏层节点数越多，识别效果越好。暂时还没有出现过拟合的情况。

另外，我还发现 ReLU 的学习率不能调太高，否则会出现太多死神经元的情况，导致根本没有识别效果。

#### 2. CNN 卷积神经网络 ####

针对 CNN，我测试的方面主要是网络层数对预测准确率的影响。结果如下图所示：

![3][Image 1]

可以看见当层数变高后准确率有一点降低，出现了一点过拟合的现象。

##### 可视化图形界面结果 #####

可视化图形界面的识别效果一般，主要原因是手写板的二值化图片和 MNIST 低像素照片风格本来就不是很一样。下面是一些运行截图。识别结果在每张截图上方标题，可以看见截的图的识别结果都是正确的。

可以看到只要写的好一点基本上全部数字都能识别出来。

![在这里插入图片描述][ee8b409de2f749b2918716d687c1e554.png_pic_center]  
![在这里插入图片描述][afe82b66d2c946138843c8bc6fc821ab.png_pic_center]  
![在这里插入图片描述][e4ed380987b3401e9d89b14bcd0dff3e.png_pic_center]

可以看到只要写的好一点基本上全部数字都能识别出来。

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88294617  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88294617

[Link 1]: https://download.csdn.net/download/sheziqiong/88294617
[Image 1]: 
[e0d760c69c9370f9226d619f74651ef4.png]: https://img-blog.csdnimg.cn/img_convert/e0d760c69c9370f9226d619f74651ef4.png
[cd5ab3a06b9468f8debddaa9437354ac.png]: https://img-blog.csdnimg.cn/img_convert/cd5ab3a06b9468f8debddaa9437354ac.png
[fb1014c1ab56ef64ce966869cdebb291.png]: https://img-blog.csdnimg.cn/img_convert/fb1014c1ab56ef64ce966869cdebb291.png
[14a33fd5ccc4a340f7d917704b21b10a.png]: https://img-blog.csdnimg.cn/img_convert/14a33fd5ccc4a340f7d917704b21b10a.png
[2e101834534669b6cac425a7040d4fca.png]: https://img-blog.csdnimg.cn/img_convert/2e101834534669b6cac425a7040d4fca.png
[baf599601bc3c8463aa74b7f32cd34e9.png]: https://img-blog.csdnimg.cn/img_convert/baf599601bc3c8463aa74b7f32cd34e9.png
[9a82ea687e1e1952f6b5ecb4d9658192.png]: https://img-blog.csdnimg.cn/img_convert/9a82ea687e1e1952f6b5ecb4d9658192.png
[34641532d9f843abb40aadee46dac1ac.png_pic_center]: https://img-blog.csdnimg.cn/34641532d9f843abb40aadee46dac1ac.png#pic_center
[65195c7af09b4d49a3acc1b9fdaf24f3.png_pic_center]: https://img-blog.csdnimg.cn/65195c7af09b4d49a3acc1b9fdaf24f3.png#pic_center
[ee8b409de2f749b2918716d687c1e554.png_pic_center]: https://img-blog.csdnimg.cn/ee8b409de2f749b2918716d687c1e554.png#pic_center
[afe82b66d2c946138843c8bc6fc821ab.png_pic_center]: https://img-blog.csdnimg.cn/afe82b66d2c946138843c8bc6fc821ab.png#pic_center
[e4ed380987b3401e9d89b14bcd0dff3e.png_pic_center]: https://img-blog.csdnimg.cn/e4ed380987b3401e9d89b14bcd0dff3e.png#pic_center