卷积神经网络python实现

ゝ一世哀愁。 2021-11-23 11:18 411阅读 0赞

转载自https://blog.csdn.net/chiyiwei7384/article/details/85062626  
目录

1、网络结构

2、各层详解

1）卷积层（conv）

A、概念解释

B、实现过程

C、多维输入数据计算

D、卷积层代码实现

2）池化层（pooling）

A、实现过程

B、池化层代码实现

3）激活层

A、sigmoid函数

B、阶跃函数

C、relu函数

4）affine层

5）dropout层

6）softmax-with-loss层

A、损失函数介绍

B、softmax-with-loss层结构介绍

C、代码实现

## 1、网络结构 ##

11层卷积网络结构如下：

**conv - relu - conv - relu - conv - relu - pool -  
conv - relu - conv - relu - conv - relu - pool -  
conv - relu - conv - relu - conv - relu - pool -  
affine - relu - dropout - affine - dropout – softmaxwithloss  
conv：卷积层  
relu：激活层  
pool：池化层  
affine：全连接层，实现输入数据和节点参数矩阵的相乘  
dropout：按照一定概率抛弃某些节点，防止过拟合  
softmax-with-loss：将输入数据正规化后输出，并输出交叉熵误差**

## 2、各层详解 ##

## 1）卷积层（conv） ##

## A、概念解释 ##

**填充（pad）：卷积运算前，想输入数据周围填入固定的数据（比如0），用P表示。  
步幅（stride）：应用滤波器的窗口间隔大小。**

## B、实现过程 ##

如图1  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]

**假设待处理矩阵大小为 ( W , H ) ，卷积滤波器大小为 ( FW , FH ) ,填充为P，步幅为S，则输出矩阵大小为：**  
![在这里插入图片描述][20190726171814980.png]

## C、多维输入数据计算 ##

**实际应用中，输入多为三通道彩色图像，此时滤波器相应设为三通道，即：**  
![在这里插入图片描述][20190726171548360.png]  
![在这里插入图片描述][20190726171554608.png]  
**通过im2col函数将四维矩阵展开为二维矩阵进行运算，函数形式如下：**

**col = im2col(x, FH, FW, self.stride, self.pad)**

**x为输入矩阵，输出矩阵的大小为**

**( OH \* OW \* N , FH \* FW \* C )**

## D、卷积层代码实现 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]

## 2）池化层（pooling） ##

## A、实现过程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]

**池化层滤波器大小一般为（2 , 2），随着滤波器的移动，依次选择窗口内的最大值作为输出。**

## B、池化层代码实现 ##

**处理多维数组时，依然用im2col函数改变维度以方便计算。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]

## 3）激活层 ##

**激活函数一般用非线性函数，本节介绍常用的几种激活函数。**

## A、sigmoid函数 ##

**函数形式如下：**  
![在这里插入图片描述][20190726172105937.png]  
**Python代码实现：**  
![在这里插入图片描述][20190726172129434.png]

## B、阶跃函数 ##

**Python代码实现：**  
![在这里插入图片描述][20190726172204483.png]

## C、relu函数 ##

**函数形式如下：**  
![在这里插入图片描述][20190726172254951.png]  
**Python代码实现：**  
![在这里插入图片描述][20190726172314124.png]  
**本文所构建网络选用relu函数作为激活函数。**

## 4）affine层 ##

**前文提到，affine层主要作用时实现矩阵的乘法运算。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]

**图3为affine层的计算图，X , W , B 分别为输入数据，节点参数，偏置。**

**Affine层代码实现：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]

## 5）dropout层 ##

**Dropout是一种在学习的过程中随机删除神经元的方法。训练时，随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递，如图4所示。训练时，每传递一次数据，就会随机选择要删除的神经元。然后，测试时，虽然会传递所有的神经元信号，但是对于各个神经元的输出，要乘上训练时的删除比例后再输出。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 6]  
**Dropout层python代码实现：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 7]

## 6）softmax-with-loss层 ##

## A、损失函数介绍 ##

**常用的损失函数包括均方误差和交叉熵误差。均方误差的计算公式如下：**  
![在这里插入图片描述][20190726172601478.png]  
**这里，yk 是表示神经网络的输出，tk 表示监督数据，k表示数据的维数。E值越小，代表输出与监督数据越吻合。**

**cross-entropy-error层的输出为交叉熵误差，计算公式如下：**  
![在这里插入图片描述][20190726172702929.png]  
**这里，log表示以e为底数的自然对数（log e ）。yk 是神经网络的输出，tk 是正确解标签。并且，tk 中只有正确解标签的索引为1，其他均为0 。因此，上式实际上只计算对应正确解标签的输出的自然对数。比如，假设正确解标签的索引是“2”，与之对应的神经网络的输出是0.6，则交叉熵误差是−log0.6 = 0.51；若“2”对应的输出是0.1，则交叉熵误差为−log0.1 = 2.30。也就是说，交叉熵误差的值是由正确解标签所对应的输出结果决定的。**

## B、softmax-with-loss层结构介绍 ##

**该层的计算图如图5所示。softmax-with-loss层包括正向传播和反向传播，本节先介绍正向传播。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 8]

**softmax-with-loss层由softmax、cross-entropy-error两个函数构成。Softmax层的作用为将输入正规化输出，计算公式如下：**  
![在这里插入图片描述][20190726172750746.png]  
**如图6，Softmax层将输入值正规化（将输出值的和调整为1）之后再输出。另外，因为手写数字识别要进行10类分类，所以向Softmax层的输入也有10个。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 9]

**Softmax层代码实现：**  
![在这里插入图片描述][20190726172825434.png]  
**C、代码实现**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 10]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: /images/20211122/111c8506ab0248ad96fb8459fc3a74bd.png
[20190726171814980.png]: /images/20211122/d4dedb427c094b37ad8626e406a9a6be.png
[20190726171548360.png]: /images/20211122/6efb263a060d40c68b1c2c91908805e0.png
[20190726171554608.png]: /images/20211122/4f599dbebb254b7c81be51e4e9c57f14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]: /images/20211122/503b94f614084f4d9bed6a75cfe5694a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]: /images/20211122/509ed98649e7492e90fd7ccb9b36aec7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]: /images/20211122/268b5a0d87fa44fba9fcd4310ab2c388.png
[20190726172105937.png]: /images/20211122/1573855a17254a6a947929ef1003dbfb.png
[20190726172129434.png]: /images/20211122/263e3eb028574331953067de334506ae.png
[20190726172204483.png]: /images/20211122/71af2095eba446ccbfb8a57f946dca92.png
[20190726172254951.png]: /images/20211122/bc4e7b9ac789479b8a0470d5c833b6da.png
[20190726172314124.png]: /images/20211122/b9e0f0c858814ac0885284c675a9b2db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]: /images/20211122/375398f51b3f4c13b044d30bd63f2de6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]: /images/20211122/770e378f4a2149f7aeeaf51bc52b9d11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 6]: /images/20211122/b13a31d86c1a454291791791c3f874dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 7]: /images/20211122/2541703a5a8947eb8d5b15b541fcce10.png
[20190726172601478.png]: /images/20211122/4afc46fbd4b8495e8452e6a0c6cf39dd.png
[20190726172702929.png]: /images/20211122/258150a33d8b4169825cfdbf9130b831.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 8]: /images/20211122/2f473e76810c4d239ebcdb980876c14a.png
[20190726172750746.png]: /images/20211122/8167bfe5bea6495a833024a70d68aa46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 9]: /images/20211122/c0cbf0a950ce418593515ff3abd934b0.png
[20190726172825434.png]: /images/20211122/88b5fa4605254b6a994a6e06fb1f0db1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 10]: /images/20211122/959820b6f65d4859a0092221dc96caec.png