深度学习的神经网络核心原理与算法 - FNN 前馈神经网络

野性酷女 2022-11-27 15:40 401阅读 0赞

![format_png][]

正文共7165个字，85张图，预计阅读时间35分钟。

*原文链接：https://www.jianshu.com/p/e5dfe52773e1*

前馈神经网络

Feedforward Neural Network

网络结构(一般分两种)

*  Back Propagation Networks - 反向传播网络
 *  RBF networks - 径向基函数神经网络

BP网络是所有的神经网络中结构最为简单的一种网络。一般我们习惯把网络画成左边输入右边输出层的结构。

![format_png 1][]

一个向量从输入层进入，经过网络作用，在输出层产生输出结果。BP神经网络的网络结构是不固定的。

![format_png 2][]

第二个神经网络有三层，两个隐藏层。

前馈神经网络，不要求对称，在不同的网络结构下产生不同的训练效果和运行特点。

每一层的神经元很多，层数也很多，整个模型不够直观。

最简单的BP网络

![format_png 3][]

总共有两层，有一个隐藏层和一个输出层，一共两层。从第二层开始算一层。

输入x最简单化，x一维是一个实数。隐藏层h和输出层o结构。

![format_png 4][]

由这两个函数所组成。一旦这里输入x,y之后就可以开始训练了。

## 网络结构-代码部分 ##

1# coding=utf-8
     2import numpy as np
     3# 定义神经网络结构
     4class Network(object):
     5def __init__(self, sizes):
     6# [3,2,1] 输入层3个神经元，隐藏层2个，输出层1个 定义总共有多少层，每一层有多少个神经元
     7# 网络层数: 一共有多少层
     8self.num_layers = len(sizes)
     9# 每层神经元的个数
    10self.sizes = sizes
    11# 初始化每层的偏置 b
    12self.biases = [np.random.randn(y, 1) for y in sizes[1:]]
    13# self.biases = []
    14# # 去size从第一项到最后一项 sizes=[3,2,1] 我们只取2,1
    15# for y in sizes[1:]:
    16#     # 第一次循环时y为2,第二次为1  输入到隐藏，隐藏到输出: 一共两个偏置
    17#     # random.randn 使用标准正态分布来初始化一个数组, 初始化一个y乘以1的数组
    18#     # 从输入层到隐藏层有两个偏置,隐藏层到输出层有一个偏置
    19#     self.biases.append(np.random.randn(y, 1))
    20# 初始化每层的权重 w
    21self.weights = [np.random.randn(y, x)
    22                for x, y in zip(sizes[:-1], sizes[1:])]
    23# self.weights = []
    24# # 使用zip同时遍历两个列表
    25# for x, y in zip(sizes[:-1], sizes[1:]):
    26#     # sizes = [3,2,1]
    27#     # 输入层到隐藏层的连线总共有6条: 第一次我们x取3,y取2
    28#     # 隐藏层到输出层的连线有2条, x我们取2,y取1
    29#     self.weights.append(np.random.randn(y, x))
    30sigmoid激励函数(1/1+e的-z次方)
    31def sigmoid(z):
    32return 1.0 / (1.0 + np.exp(-z))
    33# 创建网络
    34net = Network([3, 2, 1])
    35print(net.num_layers)
    36print(net.sizes)
    37print(net.biases)
    38print(net.weights)

运行结果:

1 3  
    2[3, 2, 1]
    3[array([[ 0.95438103],
    4[-0.16055862]]), array([[-0.84104886]])]
    5[array([[-0.50145733, -0.32197873, -0.55151483],
    6[-1.57452067, -0.51783342, -0.54714269]]), array([[-0.1588291 , -0.01887209]])]

可以看到我们的神经网络有三层(算上了输入层) 每层的神经元个数分别为: 输入层3，隐藏层2，输出层1个神经元。

偏置为两组(net.biases\[0\] 或\[1\]), 从输入到隐藏层有两个偏置(因为隐藏层有两个神经元,每个神经元一个偏置); 隐藏层到输出层有一个偏置(因为输出层只有一个神经元)

而权重则是每条连线有一个权重值: 如输入到隐藏(3x2)一共有6个, 隐藏到输出(2x1)有2个。

net.weights是一个列表，第一项为输入层到隐藏层权重，第二项为隐藏到输出。

线性回归的训练

线性回归的训练，其实和基于统计的机器学习训练很相近。如果你熟悉回归的话，你会觉得bp神经网络的训练很简单。

线性回归的训练过程: 一个线性回归的模型是怎么学到的，以及它学到了什么。为理解BP神经网络的训练做铺垫。

一元线性回归

一元线性回归是所有机器学习中最简单的。

样本:

![format_png 5][]

观察到很多数据对，有x有y。

观察记录(通过画图):

![format_png 6][]

图中横坐标代表时间，单位是秒。纵坐标代表速度，单位是米每秒。

可以从图中直观的看到，时间和速度有一种线性关系。我们可以尝试画一条直线，从一堆点中穿越过去。

![format_png 7][]

这条直线几乎可以满足所有点。我们就可以用这条直线来描述图片上的横纵坐标关系。

横坐标用x或t表示，纵坐标用y或s表示。横纵坐标的关系:

![format_png 8][]

因为直线并不是穿过所有的点，会存在误差。

误差:

参数e代表error，表示误差y =wx+b+e。

我们取定任何一个w和b时,只要带入x,y就会产生一个e.产生十个e.

把表达式变为:

![format_png 9][]

这里的下标i就表示的是第几个样本: 也就是y的真实值减去我们的预测值(拟合值y帽子)

全局误差总量:

![format_png 10][]

将所有单个样本的误差进行累加获得全局误差总量。但是无论这个e是正是负都是误差，这就是残差。这里简单的累加就存在正负抵消。

对于每个e取绝对值或取平方保证非负数。

![format_png 11][]

对于第二行表达式进行展开，得到第三行表达式。表达式中的x与y是常数。里面的w和b才是未知数。

对于三式，提取公因式并合并就可以得到如下图公式。

![format_png 12][]

其中的ABCDEF全部都是常数系数。未知数是w和b。接下来我们要做的事情就是找到一个比较合适的w和b，使得loss值越小越好。

越接近0，说明我们拟合的误差越小。要让我们的直线，尽可能离样本点近。

![format_png 13][]

我们找到上面方程ABCDEF的近似方程：

![format_png 14][]

这个图形在三维空间中像一个碗。和二维空间中的抛物线很像，肯定存在极值，极值在碗底。

只要我们求的碗底的(x,y)我们就求的了最佳参数(w,b)，这里只是符号字母不同，意义是一样的。只是把其中的w,b替换成了x和y。

梯度下降法

具体怎么求w和b的值：求解w和b的值的方法很多，这里我们就使用梯度下降算法。

一元凸函数

![format_png 15][]

我们之前讲的是二元凸函数。

![format_png 16][]

三元及以上凸函数，无法画图查看。只能靠自己想象。

![format_png 17][]

求极小值，这个是有技巧的，使用挪挪看的方法来求。

我们不知道一元函数fx的极值点，我们可以随便取一点,如:(3,11)，我们再在这一点的左右都进行取值。看看哪一边更低。

![format_png 18][]

可以看到左边的点更小一点。下次我们就可以以2.8这个点为基准。向

![format_png 19][]

挪动。然后左看2.6 右看3.0。2.6会更小一点。一直往过挪动。

这里我们人为规定每次挪动0.2，通常情况下我们不确定挪动多少合适。我们希望有一种方法可以该多挪的时候多挪，该少挪的时候少挪。挪到位了就不要再挪了。

梯度下降算法就可以解决这个问题。让我们的每次挪动不固定在0.2，而是离极值远的地方挪的快一点，而离极值近的地方挪的慢一些。挪到位了就不要挪动了。

梯度下降算法的更新公式

![format_png 20][]

![format_png 21][]

Xn+1 和 Xn 分别代表两个临近点的x值。Xn+1是Xn更新后的下一次迭代值。

学习率:挪动步长的基数，步长。学习率设置大的话救挪动的多，设置的小的话就挪动的少。

f'(x)就是x点的导数，物理意义是切线的斜率。

梯度下降更新一元函数

![format_png 22][]

取x=3, 导数就是(3,11)这一点的切线斜率。

![format_png 23][]

直接求出导函数，带入x。

![format_png 24][]

假设学习率为0.1，那么我们的学习率x导数值就是我们下一步要挪动的步长

由更新公式:

![format_png 20][]

可以得到

![format_png 25][]

然后我们进行下一次迭代，

![format_png 26][]

每一次移动的步长在逐渐的减小。原因: 临近整个函数底部，斜率是在逐渐降低的。

导致:

![format_png 27][]

的绝对值在逐渐的减小。那么更新时的x的改变量也会逐渐的减小。

![format_png 28][]

观察我们的更新公式会发现没有之前我们的左右取点看一看的过程，而是直接做更新。

原因直接讲出来，因为当我们取x=3这一点的导数值(斜率为正值)

![format_png 29][]

那么:

![format_png 30][]

这一项就是一个负数。所以更新后的Xn+1就会变小。朝着曲线底部方向挪动。

如果Xn 取-3就会在曲线的左侧，此时这一点的斜率是一个负数。

![format_png 31][]

那么:

![format_png 32][]

这一项就会是一个正数。更新之后的Xn+1就会变大，依然是朝着函数底部的方向。

所以X取正三，还是负三都能保证这个函数朝着底部移动。

二元凸函数

之前我们讲解了一元凸函数，可以通过编程方式解决极值问题。

![format_png 33][]

二元凸函数我们用同样的方法解决极值问题。

同样我们在这个平面上随便找一个点(x0,y0)，然后想把它挪动到极值点上去。跟原来的思路有区别，原来一元凸函数我们有两个方向去尝试，可以先看眼左边，再看眼右边。哪一边离极值点近就像哪一边先挪动。

而二元凸函数我们就有四个方向去尝试。

![format_png 34][]

在这个更新公式中我们发现并不需要真的去两边都去尝试一下。这个更新方程本身就可以在一个维度上来识别需要向哪个方向移动。

![format_png 35][]

现在在两个维度上的更新方程简化之后就是如上图所示公式。

偏导数：

![format_png 36][]

上图表示的是x偏导，曲面上的点沿着平行于x轴方向的切线。

![format_png 37][]

沿着x轴方向的切线斜率。

y轴方向切线

![format_png 38][]

![format_png 39][]

沿着y轴方向的切线斜率。

### 更新 ###

![format_png 40][]

从数学来讲，两者的求法一致。我们的第二种写法显得不专业，但是只是为了表示与一元函数求导没有差别。

![format_png 41][]

假设我们有一点(3,4),代入之后可求得值为64

![format_png 42][]

更新方程：

![format_png 43][]

这个时候就可以通过更新方程进行工作了。但是计算机的有限计算能力，实际的深度学习网络中极有可能有上万个维度的值要更新，效率层面我们希望这种更新能产生最高效的收敛效果。也就是通过多次迭代逐步逼近我们想要的值。如果准确度相当的情况下，收敛快的方法更受我们的欢迎。

更新原则

对于梯度下降算法来说，里面有多个维度可以选择。

![format_png 44][]

对于f(x,y)就有两个维度可以选择。我们使用什么原则可以使收敛的速度最快。

如果在一个三维的空间中，我们想从山顶往山下走。最快的方法:沿着山坡上最陡峭的方向向下最快。

![format_png 45][]

梯度: 反着写的倒三角形，等于两个方向上的偏导，一个是x的偏导一个是y的偏导。

如果每次进行更新的时候，你就可以使用学习率(一塔)乘以这两个方向上的偏导。各自完成自己的更新量。

假如我们函数中的变量不止两个，而是有一千种。

它表示的形式就是:

![format_png 46][]

求出了这1000个参数的偏导数。然后乘以学习率，更新1000个w变量

![format_png 47][]

其中w的上标i表示这是第几个w。w的下标n和n+1表示的是第几次迭代。也就是我们完成一次迭代需要对1000个w分别做更新。

这里我们就讲解完梯度下降算法在多元凸函数上的更新步骤和更新原则。开始训练(和之前讲的一元凸函数训练方法是一样的):

需要一个描述残差loss的函数。

![format_png 48][]

接着我们可以使用若干个w来表述这个函数。然后我们可以用梯度下降算法用最快方法去更新w的各个维度。最后满足loss极值点的位置就是我们要找的w。

![format_png 49][]

神经网络的训练

我们已经介绍了线性回归的训练过程，那么我们再来看一下神经网络的训练过程。

![format_png 50][]

这是我们定义的简单的两层简单bp网络。第一层是隐藏层h 第二层是输出层o，隐藏层h和输出层o都是由两部分组成。

![format_png 51][]

第一部分是线性单元，第二部分是非线性部分。第一行为隐藏层的输入x经过wh和bh的处理变成Zh,Zh又作为非线性单元的输入。

输出层同理，输入变为了Yh。

训练过程

*  初始化w,b
 *  Loss(w,b)
 *  挪动w,b 逐步变化, 直到Loss足够小。

样本:

![format_png 52][]

计算机自己学习出方程中的四个待定系数。Wh Bh Wo Bo,如果你是做图片分类，你就需要给每个图片打上一个标签。

![format_png 53][]

x1 猫 x2 狗 xn标对应标签.

前向传播

![format_png 54][]

根据网络中两个表达式的描述。可以带入x1:

![format_png 55][]

表达式的映射关系就变成上图所示。

由x1和y1所带来的误差值我们也可以定义了

![format_png 56][]

这是一个样本的Loss，也就是残差平方。然后累加求和得到下面:

![format_png 57][]

如果预测出来的结果yo1和y很接近，loss1就会比较小。因为我们有10对训练数据，得到十个loss，Loss累加。这就是神经网络中的前向传播: 输入数据通过网络一层一层的作用一直向前传播。

前向传播的代码实现

计算每一层的z, 再计算每一层的a。接着保存每一层的z和a，为后面的反向1传播做准备。

1# coding=utf-8
     2import random
     3import numpy as np
     4class Network(object):
     5def __init__(self, sizes):
     6# 网络层数
     7self.num_layers = len(sizes)
     8# 网络每层神经元个数
     9self.sizes = sizes
    10# 初始化每层的偏置
    11self.biases = [np.random.randn(y, 1) for y in sizes[1:]]
    12# 初始化每层的权重
    13self.weights = [np.random.randn(y, x)
    14                for x, y in zip(sizes[:-1], sizes[1:])]
    15# 梯度下降
    16# GD函数有两个变量: 训练数据集, 需要训练的轮数
    17def GD(self, training_data, epochs):
    18# 开始训练 循环每一个epochs: 定义epochs数值为几,就循环几次
    19for j in range(epochs):
    20    # 洗牌 打乱训练数据 shuffle
    21    random.shuffle(training_data)
    22    # 让每一次训练的时候,训练数据的顺序不同
    23    # 训练每一个数据, 使用x和y来取训练数据data和它对应的y
    24    for x, y in training_data:
    25        # 使用update方法进行前向传播
    26        self.update(x, y)
    27    # 每个epoch 完成,打印我们已经训练到了第几个epoch
    28    print("Epoch {0} complete".format(j))
    29    # 前向传播
    30   def update(self, x, y):
    31  # 传入输入的训练数据,
    32activation = x
    33# 保存每一层的激励值a=sigmoid(z) z=wx+b
    34# 第一层时输入数据就是它的激励值
    35activations = [x]
    36# 保存每一层的z=wx+b
    37zs = []
    38# 前向传播
    39# 使用for循环遍历每一层的偏置与权重:同时取第一层的偏置和权重
    40for b, w in zip(self.biases, self.weights):
    41    # 计算每层的z
    42    # dot是点乘方法: 把两个数组进行点乘,对于二维数组相当于矩阵乘法。
    43    # 一维数组相当于向量的内积
    44    z = np.dot(w, activation) + b
    45    # 保存每层的z
    46    zs.append(z)
    47    # 计算每层的a
    48    activation = sigmoid(z)
    49    # 保存每一层的a
    50    activations.append(activation)
    51  def sigmoid(z):
    52 return 1.0 / (1.0 + np.exp(-z))

反向传播更新参数

可以开始挪动Wh Bh Wo Bo四个待定系数，来逐步减小Loss值。这个在之前的线性回归的训练过程中我们已经讲过了。也就是需要四个更新公式来帮我们更新。

![format_png 58][]

![format_png 59][]

和之前线性回归中的更新公式大同小异。只不过线性回归当中是一个三维空间。

我们去找碗底的过程。这里变成了一个五维空间我们去找碗底的过程。

在神经网络中去更新网络中的待定系数的过程，叫做反向更新。因为我们是从最后一层开始，倒数第二层，倒数第三层。这样一层一层的反向更新w和b。如何求这四个公式中的偏loss 偏wh 偏loss 偏bh 偏loss 偏wo 偏loss 偏bo

![format_png 60][]

这四个值到底怎么求？

![format_png 61][]

我们把我们的损失函数loss的方程改变一下。在前面加上二分之一。这样是为了我们后面求导方便约分。

根据链式法则可以得到:

![format_png 62][]

又由于Zo=WoYh+Bo  所以Zo偏Bo求导的值为1.所以得到

![format_png 63][]

看一下下图中如何求

![format_png 64][]

由于最后一层的Yo就是sigmoid(z) 就等于：

![format_png 65][]

变成了求sigmoid(z)的导数。

![format_png 66][]

特性: sigmoid函数求导出来是它本身乘以(1-sigmoid函数)。

再来看一下前面这一项:

![format_png 67][]

如果我们把loss的表达式带进来，求得的偏yo就等于:

![format_png 68][]

![format_png 69][]

也就是预测值减去真实值。此时综合一下

![format_png 70][]

![format_png 71][]

yo是网络预测出来的结果是一个已知量, yi是我们的标签，已知值。Zo也可以通过前向更新，WoYh+Bo得到。也是一个已知值。

反向更新更新w和b，需要下面四个方程配合。

![format_png 72][]

我们可以求出最后一层的偏loss/偏b 等于的他0:

![format_png 73][]

如果是倒数第二层或倒数第三层也就是非最后一层的偏loss/偏b，你就可以用(的他h)这个公式去计算它的值。

同理，偏loss/偏w 如果是最后一层，你可以把(的他0代进来)，如果不是最后一层你可以把的他h带进来。这样你就可以求出偏loss/偏w的值。

利用四个反向更新公式，一步一步的慢慢改变w和b。直到loss最小。

网络中定义的loss函数是一个二次损失函数，如果你使用的不是二次损失函数，那么最后推出来的结果就不是这四个更新方程。需要自己来根据实际情况进行推导。

如果你使用的是框架的话，这些推导的步骤不需要你自己去做，你只需要设置参数就可以了。

反向传播更新代码实现

在梯度下降GD方法中加入反向传播的参数保存

1# 反向: 保存每层偏导
    2# 反向: 取到每一层的偏置值，取到它的形状，以这个形状创建零矩阵
    3nabla_b = [np.zeros(b.shape) for b in self.biases]
    4nabla_w = [np.zeros(w.shape) for w in self.weights]

update方法中加入偏导的保存

1# 前向传播
    2def update(self, x, y):
    3# 保存每层偏倒
    4nabla_b = [np.zeros(b.shape) for b in self.biases]
    5nabla_w = [np.zeros(w.shape) for w in self.weights]

将z和activation保存了之后就可以进行反向更新了。

![format_png 74][]

网络预测的值减去它的真实值之后，点乘：

![format_png 75][]

Zo也就是最后一层的wx+b的值。代码中我们已经把Zo计算出来保存到了zs里面。

最后一层的误差delta就等于我们自定义的cost\_derivative函数计算Yo-Yi,最后一层的预测值就是activations\[-1\],取最后一层计算出来的预测值yo，接着乘以sigmoid\_prime函数来计算最后一层sigmoid的偏导。

1# 反向更新了: 从倒数第一层开始
    2# 计算最后一层的误差
    3delta = self.cost_derivative(activations[-1], y) * sigmoid_prime(zs[-1])

预测值-真实值

1def cost_derivative(self,output_activation, y)
    2return (output_activation - y)

sigmoid(Zo)的偏导: 导数的一个特性

1def sigmoid_prime(z):
    2return sigmoid(z) * (1 - sigmoid(z))
    3# 最后一层权重和偏置的倒数
    4# 偏loos/偏b = delta
    5# 偏loss/偏w = 倒数第二层y 乘以 delta
    6nabla_b[-1] = delta
    7# transpose转置操作
    8nabla_w[-1] = np.dot(delta, activations[-2].transpose())

可以求倒数第二层直到第一层的权重和偏置的导数。从导数第二层开始，所以(2, self.num\_layers) zs\[-l\]先正向传播后反向更新。求得了每一层的权重和偏置的导数。

在训练中，保存update返回的结果

1# 训练每一个数据
    2for x, y in training_data:
    3delta_nable_b, delta_nabla_w = self.update(x, y)
    4# 保存一次训练网络中每层的偏倒
    5nabla_b = [nb + dnb for nb, dnb in zip(nabla_b, delta_nable_b)]
    6nabla_w = [nw + dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
    7

因为nb是零矩阵，加上dnb得出来的结果就是dnb

之后就可以进行真正的反向更新了。

1# eta学习率
    2# 更新权重和偏置 Wn+1 = wn - eta * nw
    3self.weights = [w - (eta) * nw
    4for w, nw in zip(self.weights, nabla_w)]
    5self.biases = [b - (eta) * nb
    6for b, nb in zip(self.biases, nabla_b)]

循环遍历每一层的权重和权重的导数。Wn+1 = wn - eta \* nw

随机梯度下降算法

在介绍梯度下降算法时我们已经介绍了损失函数的公式了。在损失函数的公式里面n表示拥有n个样本。表示求导数的过程中n个样本都要参与计算。

![format_png 76][]

可是n的值往往非常大，每个样本都有x个维度，有可能数万，有可能数百万。这种计算需要大量的时间。需要有一种方式缩短这种计算时间。

![format_png 77][]

随机梯度下降算法其实没有什么新奇的地方，就是统计学中的抽样。我们从整体的数据中随机的抽取一部分样本，这些样本的特征已经一定程度上代表样本集的特征。

就像统计人类的特征，不需要世界人口普查，只需要抽取一部分具有代表性的特征。只要他们能覆盖所有的人口，年龄，性别。

对这一部分抽取出来的样本进行归纳总结就可以了。

SGD中的几个名词

*  减少计算量

mini-batch: 从训练样本中随机选取一些数据

epoch: 一次训练一个mini-batch,直到把所有训练数据都用一遍。

这种情况下w和b的更新公式也需要做相应的修改。只要对后面一项除以m就可以了。

![format_png 78][]

m的大小就是mini-batch的大小。从训练样本中随机抽取的数据的大小就是m的大小。

SGD代码更新

在了解了随机梯度下降算法之后我们又可以更新之前的算法。

第19行，把梯度下降函数改为SGD随机梯度下降。函数中再多添加一个参数叫做mini\_batch\_size

1# 随机梯度下降
    2def SGD(self, training_data, epochs, mini_batch_size, eta):
    3# 取出训练数据总个数
    4n = len(training_data)

在洗牌之后，我们循环mini\_batch\_size

1# mini_batch
    2mini_batches = [training_data[k:k + mini_batch_size]
    3for k in range(0, n, mini_batch_size)]

我们循环0-n,每隔mini\_batch\_size取一个k。training\_data从k开始一直到k加上minibatch，之前是训练整个数据集，我们现在只需要训练minibatch大小个数据就可以了。

1# 训练mini_batch
    2  for mini_batch in mini_batches:
    3  self.update_mini_batch(mini_batch, eta)

我们需要实现一个新的函数。update\_mini\_batch

1# 更新mini_batch
     2def update_mini_batch(self, mini_batch, eta):
     3# 保存每层偏倒
     4nabla_b = [np.zeros(b.shape) for b in self.biases]
     5nabla_w = [np.zeros(w.shape) for w in self.weights]
     6# 训练每一个mini_batch
     7for x, y in mini_batch:
     8    delta_nable_b, delta_nabla_w = self.update(x, y)
     9# 保存一次训练网络中每层的偏倒
    10    nabla_b = [nb + dnb for nb, dnb in zip(nabla_b, delta_nable_b)]
    11    nabla_w = [nw + dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
    12# 更新权重和偏置 Wn+1 = wn - eta * nw
    13self.weights = [w - (eta / len(mini_batch)) * nw
    14                for w, nw in zip(self.weights, nabla_w)]
    15self.biases = [b - (eta / len(mini_batch)) * nb
    16               for b, nb in zip(self.biases, nabla_b)]

将training\_data改为mini\_batch，更新权重和偏置的时候使用eta除以minibatch的总个数。

前馈神经网络手写数字识别

在实现了我们的神经网络之后，我们来看一下如何使用我们刚才的神经网络来做图片的识别。

案例: 手写数字识别

![format_png 79][]

![format_png 80][]

MNIST dataset

每一张图片为28,28的。数字总共有10种。

如何用我们之前实现的神经网络来实现手写数字识别

随机梯度下降，正向传播，反向更新。

1if __name__ == '__main__':
    2import mnist_loader
    3traning_data, validation_data, test_data = mnist_loader.load_data_wrapper()

从mnist中取训练数据，验证数据，测试数据。

使用我们的Network类定义我们的网络。定义一个三层的网络,输入层为28,28共784个神经元。隐藏层我们定义30个神经元，输出层有十种数字。   net = Network(\[784, 30, 10\])

1net = Network([784, 30, 10])

调用net的SGD方法训练我们的模型:

传入参数：训练数据集，epoch数量，minibatch大小，学习率0.5

1net.SGD(traning_data, 30, 10, 0.5, test_data=test_data)

我们再添加一个我们的参数: test\_data。每一轮训练完成之后看我们的神经网络在测试集上的表现如何。

1def SGD(self, training_data, epochs, mini_batch_size, eta,
    2    test_data=None):
    3            if test_data:
    4    n_test = len(test_data)

在训练完成之后进行测试集上表现的测试

1# 测试集上的表现
    2if test_data:
    3    print("Epoch {0}: {1} / {2}".format(
    4        j, self.evaluate(test_data), n_test))

自定义我们的评估evaluate方法,看当前网络总共预测对了多少：

1def evaluate(self, test_data):
    2test_results = [(np.argmax(self.feedforward(x)), y)
    3                for (x, y) in test_data]
    4return sum(int(x == y) for (x, y) in test_results)

循环遍历test\_data中的数据x和label y。可以让我们取出来的x经过一个函数feedforward前向传播就是我们网络的预测结果。因为我们刚才定义的输出层有十个神经元。

每一维代表它是这个数字的可能性。调用argmax取这十维中最大的一个数字。最大的数字就是我们经过网络预测出来最可能的结果。每一对预测结果和真实标签组成我们的test\_results。

如果一样就返回1，不一样就返回0。返回10000个比较结果，0或者1.求和一下就是验证正确的总数。

feedforward就是我们的前向传播函数。输入值a

1def feedforward(self, a):
    2for b, w in zip(self.biases, self.weights):
    3    a = sigmoid(np.dot(w, a) + b)
    4return a

遍历当前网络所有层上的w和b。

调用每一个神经元都由线性单元wx+b 经过激励函数组成。网络的预测结果，然后把网络的预测结果返回出去。

![format_png 81][]

解决几个Python3下的报错。

*  no module named cPickle

Python3下cpickle改名为了pickle。直接修改修改使用pickle就行了。

*  报错2

1UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614
    2

这个是因为pickle要指定编码格式。

1training_data, validation_data, test_data = pickle.load(f,encoding='bytes')

添加encoding参数。

*  报错3:

1TypeError: object of type 'zip' has no len()

将zip对象，强制转化为list类型。

1training_data = list(zip(training_inputs, training_results))

###     ###

### 训练结果： ###

![format_png 82][]

隐藏层30 输出层10(代表10种数字0-9) 学习率0.5

跑完30轮之后准确率还蛮高的93%。

![format_png 83][]

只改变了隐藏层的神经元个数，准确率提高到了94%

往期推荐

[知识卡片 循环神经网络 RNN][_ RNN]

[知识卡片 感知机][Link 1]

[知识卡片 反向传播中的梯度][Link 2]

[知识卡片 信息熵][Link 3]

[知识卡片 逻辑回归][Link 4]

[知识卡片 损失函数的正则化][Link 5]

[特征工程 特征处理][Link 6]

[知识卡片 线性回归和多元回归][Link 7]

[知识卡片 特征工程][Link 8]

[特征工程 文本处理][Link 9]

[机器学习入门案例：鸢尾花数据集分类 绘制PR曲线][_PR]

[知识卡片  一致性评价 r和k][_ r_k]

[知识卡片 回归性能度量 Log Loss][_ Log Loss]

[知识卡片 回归度量-MAE和RMSE][_-MAE_RMSE]

![format_png 84][]

好文章，我 在看❤

[format_png]: /images/20221124/dd3435aafb41409b8b86d03596605a7e.png
[format_png 1]: /images/20221124/f28c5f8bb7934a429b7878cd863e95c3.png
[format_png 2]: /images/20221124/6cde1f8d3e454d25bd88a9cd15d9a3e6.png
[format_png 3]: /images/20221124/e8e39a47502b4934a05cc4dad20d3316.png
[format_png 4]: /images/20221124/4e708080f6e847009812832e849d51e0.png
[format_png 5]: /images/20221124/72729d2c8b774bd08b7c479d129617bb.png
[format_png 6]: /images/20221124/69b6a848043c459ead06e021ac20db6c.png
[format_png 7]: /images/20221124/f2e5535520f94d73abfd1759dc663099.png
[format_png 8]: /images/20221124/5be18f397243453baed0a901e9f31cdb.png
[format_png 9]: /images/20221124/086b9aa32f7b437fa86dd0c13e4e43d7.png
[format_png 10]: /images/20221124/35c7130448294638841c6645ed5951eb.png
[format_png 11]: /images/20221124/a7879fe934354f5ba8b7f1000aeb3889.png
[format_png 12]: /images/20221124/3f7c19dbb3fd493e910e228d95461f65.png
[format_png 13]: /images/20221124/14eae4bfb7ed4b7b9d4eed5e339205b1.png
[format_png 14]: /images/20221124/7ddf4db51146491e86098b508b5afe59.png
[format_png 15]: /images/20221124/e7cebd65fa244777b90735960a546593.png
[format_png 16]: /images/20221124/bd33fb2ca8004e6b8f5a131b57b43452.png
[format_png 17]: /images/20221124/33a4a03c0bb745549c6a024be465bb25.png
[format_png 18]: /images/20221124/69d984f3b3994887a929ace204b2a0dd.png
[format_png 19]: /images/20221124/c740d40326fc4814863f8ec7259b6613.png
[format_png 20]: /images/20221124/b13f5cf4bce74cacbf5f1320b2fe92f4.png
[format_png 21]: /images/20221124/2a195554277e477b9918869d11ae5082.png
[format_png 22]: /images/20221124/923a866035aa49e6b8323df396980600.png
[format_png 23]: /images/20221124/fc860efa14a14065be7e53f5ce015ffb.png
[format_png 24]: /images/20221124/2bf91efb2f29455b8bc92b0e1418d680.png
[format_png 25]: /images/20221124/1e3852b0a9354094b227afaac723a8d4.png
[format_png 26]: /images/20221124/6243f04c32024ca0a8d0595fccc23578.png
[format_png 27]: /images/20221124/d8e16d0dca8247ff8071ed9a74acb1cc.png
[format_png 28]: /images/20221124/abe1d575917e46689159c3c45ca50cb6.png
[format_png 29]: /images/20221124/83f8ed4106924e689cef43397491a8a6.png
[format_png 30]: /images/20221124/6be9f334b21948aeb8065c3246451529.png
[format_png 31]: /images/20221124/3f8d9767428448ef805af86a43c7cc78.png
[format_png 32]: /images/20221124/976448b3a39d40a196ed17db4eb9bb61.png
[format_png 33]: /images/20221124/cdd70a3fcebe49408d1b78ec90619be8.png
[format_png 34]: /images/20221124/c3ba794cb8f4457584bd265c8ff20fa7.png
[format_png 35]: /images/20221124/4e89e170719a47dda6a13ecc27e81bba.png
[format_png 36]: /images/20221124/9a904afdcf7d4825b273e92fa03d8ea9.png
[format_png 37]: /images/20221124/41211572f9b9480ba7a25c3b9c0f7e35.png
[format_png 38]: /images/20221124/5714c10bc70e434f8a4c435c71b775b0.png
[format_png 39]: /images/20221124/f44a5c8335694d78a1d3a0869004b3f1.png
[format_png 40]: /images/20221124/48faa3932b3f40c3b6454aa7ec64052b.png
[format_png 41]: /images/20221124/2017d4de9fe44894b31377228194c1b2.png
[format_png 42]: /images/20221124/7ae4c4afb722492abe195a30d957783e.png
[format_png 43]: /images/20221124/b453643cc63c4ae59c475dea413aa474.png
[format_png 44]: /images/20221124/9e589e10162a4b63a7a615668ba3b716.png
[format_png 45]: /images/20221124/a1294ed525854094a6f7f2d86664be99.png
[format_png 46]: /images/20221124/b8cfbad28fd246078193fb6c61576c6a.png
[format_png 47]: /images/20221124/115b75c924a5415f82faaa122b0e363f.png
[format_png 48]: /images/20221124/437e6bd9d63b41afbf10fb401fae89fd.png
[format_png 49]: /images/20221124/d853751ee4144e0795123e8a34dbf31c.png
[format_png 50]: /images/20221124/a959c205973c491784f913f9663f7899.png
[format_png 51]: /images/20221124/878f8ed3a011473e9ce75a332018e1fa.png
[format_png 52]: /images/20221124/6191206099b0425fb19607fe47f478af.png
[format_png 53]: /images/20221124/ce487c5ee6f448a595559bef933504f6.png
[format_png 54]: /images/20221124/bfdb1a4533cf4c2f87cf7e49a28be4ea.png
[format_png 55]: /images/20221124/2cfd37215663410498cb0a1ae7402613.png
[format_png 56]: /images/20221124/3785302782a648d7bef392b070ed73c9.png
[format_png 57]: /images/20221124/74db9b5329084e26b888fc0bc79259c8.png
[format_png 58]: /images/20221124/c1f61e4a21f64904bc673ae89b637f18.png
[format_png 59]: /images/20221124/5b1f6eeae629410eaa25225657483db9.png
[format_png 60]: /images/20221124/534b552d248d4c8b92097645049bcf92.png
[format_png 61]: /images/20221124/5026820b84e14243b498f65c4b799dae.png
[format_png 62]: /images/20221124/9e6de522c5a148d58d357e47a613455f.png
[format_png 63]: /images/20221124/7b4eae0ff6d142a49b33ce948cb8cf1b.png
[format_png 64]: /images/20221124/dad09f2894834ed188516e01558aa47c.png
[format_png 65]: /images/20221124/9f82a14c33b8439fa93d6992c2dd7a64.png
[format_png 66]: /images/20221124/30e469554970446ea70e2ca65821c376.png
[format_png 67]: /images/20221124/86f2011a78b74a878179cacce113feb7.png
[format_png 68]: /images/20221124/bf35da370b134a8884ba2f5808543d73.png
[format_png 69]: /images/20221124/afbb8d82df0e4379b13859bb09e29149.png
[format_png 70]: /images/20221124/1d93d989cc1e423e9044bdf9fddbc93b.png
[format_png 71]: /images/20221124/07a3cbd4dbf04c4faf018dd452b5372b.png
[format_png 72]: /images/20221124/fb0fc07cd8094f0ba61aa9a49feee9d3.png
[format_png 73]: /images/20221124/c32bb10dd7aa4d6d8cc9eebeb44ab2b9.png
[format_png 74]: /images/20221124/e8885e069af2444eba66cf22d8961324.png
[format_png 75]: /images/20221124/384040579231484bad82d215ac485ee9.png
[format_png 76]: /images/20221124/eccdee105f9d442a88b946eae86fb917.png
[format_png 77]: /images/20221124/b2e78dd282d34f67b9e902a6f4e6fc49.png
[format_png 78]: /images/20221124/cc953f5d28f84ae39aa1e58800fdf16e.png
[format_png 79]: /images/20221124/927a0542b6214cd3be4a5ea1e7e1f5a7.png
[format_png 80]: /images/20221124/8576320ea2844a31ad503dd93b563a78.png
[format_png 81]: /images/20221124/053c1febe65e438299a4f73d503bf892.png
[format_png 82]: /images/20221124/e888c8805ada47a384f39e55a0f3c70e.png
[format_png 83]: /images/20221124/a323cb297e644f03b4a1f7d950dbb918.png
[_ RNN]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d8a1b62051b714fd77e64d2959d15cd1d6e2d98d08de9b32b25ed393c12c8ba9805aca1a&idx=2&mid=2454498681&scene=21&sn=31c1aa92a8dc44773ba0f3ccc488c08e#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d898b620518eea2d05ee174cd0435f57891f09499f47934a269a5d8bbb3b0cd2b9cb7845&idx=2&mid=2454498624&scene=21&sn=c129304f92710fb39c0e494b2f6c6e32#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d8d3b62051c5e6a05473b7510c1740b635f079ac3d4fd65b3e3a94f44cd4c53612febfa6&idx=2&mid=2454498571&scene=21&sn=f7d73ea95c66459b633a56489a20b6c2#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d91db620500b3ad9cb911ea781765923eb289c21c62cf00ff902f1faa9f801bef5ef1bba&idx=2&mid=2454498501&scene=21&sn=fa9f559b86639f9f9ce3d6a20df71b5e#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d95eb62050481f09db068fbe143cda99bb94b958ae7bfadad4f2f0fd651c590f6d59adfb&idx=2&mid=2454498438&scene=21&sn=668d654493ec47f827f78b764378af37#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d9b5b62050a36f1d4ddf8de35a09c29432bf8b2a7928bdc5d6344144dc0bc6ce4210d28f&idx=2&mid=2454498413&scene=21&sn=702a94a8b0d9da7220170d6c5d4e25d8#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d994b6205082e4bf449445bbea7f18440825e51961357a2b9d42a8309b97d4a94d17dcc8&idx=1&mid=2454498380&scene=21&sn=c48483369a7dc484e3dffa9437ec66ac#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157d994b62050822dcf9f06b0568bccdc30739d193881973136c0a6afcb92f6cf7251d1ae48&idx=2&mid=2454498380&scene=21&sn=efc9ef4606920e17d59e2377f74caf6b#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157de07b62057110772d8ee52088a0d4e8a0d8ef45bae61ba6b9e18869b136ed54e30f42405&idx=2&mid=2454498271&scene=21&sn=ac049ab131602bd1b6cc87c8a3a4756d#wechat_redirect
[Link 9]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157de6ab620577c099b9d56b1aacc6251ad7599251c21adb7a25b749bed1bc4532dd65f82de&idx=1&mid=2454498226&scene=21&sn=0eb18a4c992ce9fab7d9ed96532aff8d#wechat_redirect
[_PR]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157deb5b62057a3c32202e93c0c33a57435712aed0817cd36bfb432ef718bbe3de19db77295&idx=1&mid=2454498157&scene=21&sn=96897edf66e0ddb9b1c27b9e95a99950#wechat_redirect
[_ r_k]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157deb5b62057a3a6713386278e7d13cee3b6f9ee869eeaa3284409e115799e7db2d5fbbe27&idx=2&mid=2454498157&scene=21&sn=54891637028e97c9afec27fd7b57fe01#wechat_redirect
[_ Log Loss]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157def2b62057e4ceca489fb9a440bcf5874ce8bc1a427079d9adce740aa2e5ce06ac090c60&idx=2&mid=2454498090&scene=21&sn=e22909d8fc25a9707c65f3a6dc2ba05a#wechat_redirect
[_-MAE_RMSE]: http://mp.weixin.qq.com/s?__biz=MzIwMTMxMTQxNQ%3D%3D&chksm=8157df55b62056433a1172419d42df402c815151b522317fc6d06042d094fea91b4fb1506a72&idx=2&mid=2454497933&scene=21&sn=3f8c04fb4be5d4b0fafab3b01eb8f60a#wechat_redirect
[format_png 84]: /images/20221124/8398b75432b94d07a540ece60182c308.png