神经网络应用: 手写数字识别(MNIST数据集)

素颜马尾好姑娘i 2024-04-06 13:16 103阅读 0赞

## 1. 前言 ##

本文使用 tensorflow 2.10.0 版本构建神经网络模型并进行训练，不同版本之间的 API 可能会有不同，请选择合适的版本学习。

## 2. MNIST 数据集介绍 ##

MNIST数据集(Mixed National Institute of Standards and Technology database)是美国国家标准与技术研究院收集整理的大型手写数字数据库，该 数据集包含 60000  个⽤于训练的样本和 10000  个⽤于测试的样本，图像是固定⼤小 (28x28 像素 )，每个像素的 值为0 到 255，通道数为 1(灰度图)， 如下图所示:

![b767968bf4b74817ad7f948208c4187a.png][]

其中 tensorflow 包含了 MNIST 数据集，可直接导入使用。

## 3. 代码实现 ##

### 3.1 导入所需的工具包 ###

# 导入相应的工具包
    import numpy as np
    from matplotlib import pyplot as plt
    # tf 中使用工具包
    import tensorflow as tf
    # 数据集
    from tensorflow.keras.datasets import mnist
    # 构建模型
    from tensorflow.keras.models import Sequential
    # 导入需要的层
    from tensorflow.keras.layers import Dense, Dropout, Activation, BatchNormalization
    # 导入辅助工具包
    from tensorflow.keras import utils
    # 正则化
    from tensorflow.keras import regularizers

### 3.2 加载数据集并显示部分数据 ###

# 数据集中的类别总数
    nb_classes = 10
    # 加载数据集
    (X_train, y_train), (X_test, y_test) = mnist.load_data()

查看训练数据集和测试数据集的大小

X_train.shape

![c7a64a053fa747d885390baace36d68e.png][]

X_test.shape

![c4c2cd04ab8a4b28a716be29d57276ad.png][]

展示训练数据集其中的一条数据

# 显示数据
    plt.figure()
    plt.rcParams['figure.figsize'] = (7, 7)
    plt.imshow(X_train[1], cmap='gray')

![a360a76516a74f18adb1da282a042779.png][]

### 3.3 数据处理 ###

神经⽹络中的每个训练样本是⼀个向量，因此需要对输⼊进⾏重塑，使每个28x28的图像成为⼀个784维的向量。另外，将输⼊数据进⾏归⼀化处理，从0-255调整到0-1。

# 调整数据维度: 每一个数字转换成一个向量
    X_train = X_train.reshape(60000, 784)
    X_test = X_test.reshape(10000, 784)
    # 格式转换
    X_train = X_train.astype('float32')
    X_test = X_test.astype('float32')
    # 归一化
    X_train /= 255
    X_test /= 255
    # 维度调整后的结果
    print(f'训练集: {X_train.shape}')
    print(f'测试集: {X_test.shape}')

![0423efc3f0f24c9983a8b6017ae8d03c.png][]

另外对于标签值我们也需要进行处理，将其转换为独热编码(one-hot encoding)的形式。对于一个标量来说就需要将其转换为一个向量，其中向量的维度就是标签中样本的类别个数。

![e6228935876f4724b1a84f9af4c5ce60.png][]

# 将目标值转换成独热编码的形式
    y_train = utils.to_categorical(y_train, nb_classes)
    y_test = utils.to_categorical(y_test, nb_classes)

### 3.4 模型构建 ###

本文构建具有 2 个隐藏层和 1 个输出层的全连接网络，其中隐藏层的神经元个数均为 512，输出层神经元个数为 10。

![e81927cdcbb942b69c3279dfedbec44d.png][]

# 利用序列模型来构建模型
    model = Sequential()
    # 全连接层, 共 512 个神经元, 输入维度大小为 784
    model.add(tf.keras.Input(shape=(784,)))
    model.add(Dense(512))
    # 激活函数使用 relu
    model.add(Activation('relu'))
    # 使用正则化方法 dropout
    model.add(Dropout(0.2))
    #全连接层 512个神经元 加入 L2 正则化
    model.add(Dense(512, kernel_regularizer = regularizers.l2(0.001)))
    # BN 层
    model.add(BatchNormalization())
    # 激活函数
    model.add(Activation('relu'))
    model.add(Dropout(0.2))
    # 输出层 共 10 个神经元
    model.add(Dense(10))
    # softmax 将神经网络的输出的 score 转换为概率值
    model.add(Activation('softmax'))

使用 model.summary() 查看模型的架构

![30072fe7f8cc469594ee8c0067521980.png][]

### 3.5 模型编译 ###

设置模型训练使⽤的损失函数交叉熵损失和优化⽅法 Adam，损失函数⽤来衡量预测值与真实值之间的差异，优化器⽤来使⽤损失函数达到最优。

# 模型编译 指明损失函数和优化器 评估指标
    model.compile(loss='categorical_crossentropy', optimizer='Adam', metrics=['accuracy'])

### 3.6 模型训练 ###

指定 batch\_size 大小为 128，将 128 个样本同时送入网络进行训练，迭代 10 次(epochs = 10)。

# batch_size 是每次送入模型的样本个数, epochs 是所有样本的迭代次数, 并指明验证数据集
    history = model.fit(X_train, y_train, batch_size=128, epochs=10, validation_data=(X_test, y_test))

训练过程如下:

![5d0a2436457643e2b21f283a92df7db9.png][]

可视化损失函数和模型训练精确度

# 绘制损失函数的变化曲线
    plt.figure()
    # 训练集损失函数变化
    plt.plot(history.history['loss'], label='train_loss')
    # 验证集损失函数变化
    plt.plot(history.history['val_loss'], label='val_loss')
    plt.legend()
    # 绘制网格
    plt.grid()

![ede00888e9d94000ad3988c4ba0b64d5.png][]

# 绘制准确率的变化曲线
    plt.figure()
    # 训练集损失函数变化
    plt.plot(history.history['accuracy'], label='train_accuracy')
    # 验证集损失函数变化
    plt.plot(history.history['val_accuracy'], label='val_accuracy')
    plt.legend()
    plt.grid()

![e72fd03b5a2c4e919f61e490a1b13cdc.png][]

### 3.7 模型测试(评估) ###

# 模型测试
    score = model.evaluate(X_test, y_test, verbose=1)
    # 打印结果
    print(f'测试集准确率: {score}')

![01bbfcdd840648a7ba73dbf1dec03da4.png][]

### 3.8 模型保存与加载 ###

可以将训练好的模型保存到文件中，其中包括了权重W和偏置b

# 保存模型架构与权重在 h5 文件中
    model.save('my_model.h5')
    # 加载模型 包括对应的架构和权重
    model = tf.keras.models.load_model('my_model.h5')
    # 测试加载的模型
    model.evaluate(X_test, y_test, verbose=1)

![fa034f559f664664814a36f08bbd9edf.png][]

[b767968bf4b74817ad7f948208c4187a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/563a566f2a2e43c093ae8d772089cfca.png
[c7a64a053fa747d885390baace36d68e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/463489f9bac94afbb3b4c1127d88bbdd.png
[c4c2cd04ab8a4b28a716be29d57276ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/65480a74d68a475e93b2a680f2d4f0ed.png
[a360a76516a74f18adb1da282a042779.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9af7cfb862694187b082a66e3a49b2c0.png
[0423efc3f0f24c9983a8b6017ae8d03c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cce186414ccc4c9284c103026d0f143e.png
[e6228935876f4724b1a84f9af4c5ce60.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3f1c30af2cdc48c4969192ecda84590c.png
[e81927cdcbb942b69c3279dfedbec44d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cb49e5c6440f426ba5216ecf448b3dfd.png
[30072fe7f8cc469594ee8c0067521980.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fefe13883cdc40e3baf0cf0417554f1a.png
[5d0a2436457643e2b21f283a92df7db9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/abf779ed7fba43b0afce9090e80c27b0.png
[ede00888e9d94000ad3988c4ba0b64d5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f37e5b96607a4b9a88aaf8bab2673de0.png
[e72fd03b5a2c4e919f61e490a1b13cdc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/360f9ec78b6d4f999e98ce966364cb32.png
[01bbfcdd840648a7ba73dbf1dec03da4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/207964456ba442629f6053976af7586c.png
[fa034f559f664664814a36f08bbd9edf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/60f84029de974bd9bea413ab1ef98b54.png