PyTorch深度学习入门深度学习基础 2.8 手写字体识别

朱雀 2024-03-22 13:15 60阅读 0赞

#### PyTorch深度学习入门 ####

#### 文章目录 ####

*   *   *  PyTorch深度学习入门
         *   *  深度学习基础
             *  2.8 手写字体识别
             *   *  1. LeNet —— 深度学习界的“果蝇”
                 *  2. 准备数据集
                 *  3. 构建LeNet
                 *  4. 训练
                 *  5. 存储与加载
                 *  6. 测试
                 *  7. fastai手写字体识别
                 *   *  1. 安装
                     *  2. 代码实践

![在这里插入图片描述][ebb78fee688d433f98cb78685814b732.png_pic_center]

##### 深度学习基础 #####

##### 2.8 手写字体识别 #####

以LeNet 网络为例，利用 MINST 手写字体库进行训练，实现一个手写体的自动识别器。

###### 1. LeNet —— 深度学习界的“果蝇” ######

LeNet是1998年由Yann LeCun提出的一种卷积神经网络，当时已经被美国大多数银行用于识别支票上的手写数字。LeNet-5官网：http://yann.lecun.com/exdb/lenet/,

![在这里插入图片描述][9ead4082458a41c2af1d29be93c061dd.png_pic_center]

下图LeNet进行手写体识别时，输入图片、各层特征图的可视化形式及其最终的识别结果。

![在这里插入图片描述][e24399bf75b84b5189aec753e2d3873a.gif_pic_center]

LeNet-5的结构如下图所示，

![在这里插入图片描述][863ef86812b146e3862217502f4cdc02.png_pic_center]

其网络结构比较简单，如果不包括输人，它一共有7层，输入图像的大小为28×28。

可以分辨出

*  C1层为6张特征图，由6个大小为5×5的卷积核过滤生成，特征图的尺寸为24×24。
 *  S2是池化层，采用最大池化法，池化窗口大小为2×2。因此，6张24×24的特征图池化后会生成6张12×12的池化特征图。
 *  C3层是卷积层，一共有16个过滤器，生成16张8×8大小的特征图，卷积核大小为5×5。这里，S2与C3的连接组合方式并不是固定的，C3层的每一张特征图可以连接S2层中的全部或者部分特征图。一般情况下，为了更好地降低总连接数，并不使用全部特征图的全连接方式。
 *  S4是池化层，它是由16张8×8的特征图最大池化生成的16张4×4的特征图，其池化核大小为2×2。
 *  F5是全连接层，一共有120个神经元节点，每个节点与S4层的16张池化特征图进行连接。因此，F5层与S4层是全连接。
 *  F6层有84个神经元节点，与F5进行全连接。
 *  最后一层为输出层，把输出的神经元节点数设为10，代表0到9的分值。

###### 2. 准备数据集 ######

MNIST是一个手写数字数据库（官网地址：http://yann.lecun.com/exdb/mnist/)。

![在这里插入图片描述][e2f46473faeb4660a9af05db39d492c4.png_pic_center]

该数据库有60000张训练样本和10000张测试样本，每张图的像素尺寸为28×28。

其中train-images-idx3-ubyte.gz为训练样本集，train-labels-idx1-ubyte.gz为训练样本的标签集，t10k-images-idx3-ubyte.gz为测试样本集，t10k-labels-idx1-ubyte.gz为测试样本的标签集。

这些图片文件均被保存为二进制格式。

还行的是PyTorch 已经为我们编写好了快速下载并加载MNIST 数据集的方法。

为了方便图像的运用开发，PyTorch 团队编写了处理图像的工具包：torchvision。

torchvision里面包含了图像的预处理、加载等方法，还包括了数种经过预训练的经典卷积神经网络模型。

举个栗子：

从torchvision 库中导入datasets 和transforms：

*  datasets是加载图像数据的方法
 *  transforms 是图像数据预处理的方法

from torchvision import datasets, transforms

然后使用transforms.Compose()函数设置预处理的方式：

transform = transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize((0.1307,),(0.3081,))
    ])

ToTensor() 将数据转换为Tensor 对象，Normalize() 将数据进行归一化处理

使用datasets.MNIST()函数分别下载训练数据集和测试数据集：

trainset = datasets.MNIST('data',train=True,download=True,transform = transform)
    testset = datasets.MNIST('data',train=False,download=True,transform = transform)

直接运行，程序就会自动下载MNIST 数据集

![在这里插入图片描述][cc6b495244e244168c3ed943f46f90a1.png_pic_center]

等待下载完成

![在这里插入图片描述][3ffebb8e0f0e40e6bc3815c84bf21d0f.png_pic_center]

查看数据集

![在这里插入图片描述][8e2aa14a57d448dab7e4f9a757625cc7.png_pic_center]

###### 3. 构建LeNet ######

from torch import nn, optim
    from torch.nn import functional as F
    
    
    class LeNet(nn.Module):
        # 初始化函数
        def __init__(self):
            super(LeNet, self).__init__()  # 先运行父类的初始化函数
            self.c1 = nn.Conv2d(1, 6, (5, 5))  # 定义C1卷积层: 输入1张灰度图 输出6张特征图 大小为5x5的卷积核过滤器
            self.c3 = nn.Conv2d(6, 16, 5)  # 定义C3卷积层: 输入6张灰度图 输出16张特征图 过滤器大小5x5
            # 定义全连接层
            self.fc1 = nn.Linear(16 * 4 * 4, 120)  # 由池化层S4中的所有特征点(共16x4x4个)全连接到120个点
            self.fc2 = nn.Linear(120, 84)  # 由120个点全连接到84个点
            self.fc3 = nn.Linear(84, 10)  # 由84个点全连接到输出层中的10个输出节点
    
        def forward(self, x):
            x = F.max_pool2d(F.relu(self.c1(x)), 2)  # c1卷积后, 使用relu() 增加了网络的非线性拟合能力, 接着使用F.max_pool2d() 函数对c1 的特征图进行池化, 池化核大小为2x2
            x = F.max_pool2d(F.relu(self.c3(x)), 2)  # 第二轮卷积
            x = x.view(-1, self.num_flat_features(x))  # 使用view() 函数将x 的形状转换成1维的向量,
            # 全连接fc1、fc2和fc3
            x = F.relu(self.fc1(x))
            x = F.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    
        # 计算x 的特征点的总数
        def num_flat_features(self, x):
            size = x.size()[1:]
            num_feature = 1
            for s in size:
                num_feature *= s
            return num_feature

接下来初始化LeNet，并定义损失函数为交叉熵函数，优化器为随机梯度下降：

import torch
    
    # 初始化LeNet，定义损失函数为交叉熵函数，优化器为随机梯度下降
    CUDA = torch.cuda.is_available()
    
    if CUDA:
        lenet = LeNet().cuda()
    else:
        lenet = LeNet()
    
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.SGD(lenet.parameters(), lr=0.001, momentum=0.9)

随后，用PyTorch的数据加载工具DataLoader来加载训练数据：

trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

*  batch\_size：一次加载的数据量
 *  shuffle=True：遍历不同批次的数据时打乱顺序
 *  num\_workers=2：使用两个子进程加载数据

###### 4. 训练 ######

开始训练，完全遍历训练数据2次。

def train(model, criterion, optimizer, epochs=1):
        for epoch in range(epochs):
            running_loss = 0.0  # 为方便观察训练过程中损失值loss 的变化情况
            for i, data, in enumerate(trainloader, 0):  # i: 序号 data: 数据[包含训练数据和标签]
                inputs, labels = data
                if CUDA:
                    inputs, labels = inputs.cuda(), labels.cuda()
    
                optimizer.zero_grad()
                outputs = model(inputs)
                loss = criterion(outputs, labels)
                loss.backward()
                optimizer.step()
    
                running_loss += loss.item()
                if i % 1000 == 999:
                    print('[Epoch: %d, Batch: %5d] Loss: %.3f' % (epoch + 1, i + 1, running_loss / 1000))
                    running_loss = 0.0
        print("Finished Training")
    
    
    train(lenet, criterion, optimizer, epochs=2)

运行结果：

![在这里插入图片描述][b5f66c0f7e284fdd8c273f72722ceb89.png_pic_center]

训练有效，损失值loss 的平均值被逐渐优化下降。

###### 5. 存储与加载 ######

训练完神经网络后，需要存储训练好的参数。以方便以后使用

存储方式：

*  存储和加载模型
    
     *  存储
        
            torch.save(lenet, 'model.pkl')
     *  加载
        
            lenet = torch.load('model.pkl')
    
    利用torch.save()函数直接传人整个网络模型lenet,并设置存储的路径。这种方法虽然简洁，但在神经网络比较复杂的时候，会占用较大的存储空间。
 *  存储和加载模型参数
    
     *  存储
        
            torch.save(lenet.state_dict(), 'model.pkl')
     *  加载
        
            lenet.load_state_dict(torch.load('model.pkl'))
    
    这种方法直接保存模型参数，节省了空间，但是它不存储模型的结构，所以在加载时需要先构造好模型结构。

使用第二种方式栗子：

构造load\_param()和save\_param()函数方便随时调用：

def load_param(model, path):
        if os.path.exists(path):
            model.load_state_dict(torch.load(path))
    
    
    def save_param(model, path):
        torch.save(model.state_dict(), path)

###### 6. 测试 ######

神经网络模型经过长时间的训练之后，能在训练集的数据上表现得很好，并不一定代表它在训练集以外的数据上同样表现优异。

为了更加客观地衡量神经网络模型的识别率，我们通常需要另外一批数据进行测试。为此，设置train=False准备测试集，并设置testloader对测试集进行加载：

testloader = torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers = 2)

对训练完成的神经网络添加测试函数：

def test(testloader, model):
        correct = 0
        total = 0
    
        for data in testloader:
            images, labels = data
            if CUDA:
                images = images.cuda()
                labels = labels.cuda()
    
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum()
    
        print('Accuracy on the test set : %d %% ' % (100 * correct / total))

直接运行吧

![在这里插入图片描述][43a8afb2355c490487cdfc97e2cf606d.png_pic_center]

还行。

###### 7. fastai手写字体识别 ######

PyTorch的生态圈非常丰富，AllenNLP、ELP、fastai、Glow、GPyTorch、Horovod、ParlAI、Pyro、TensorLy等库都是基于PyTorch开发的AI工具，可以帮助我们更加快速地开发AI产品。

fastai库(https://www.fast.ai)

![在这里插入图片描述][2eaf618c0c794dca9f5c93a1458dfb2d.png_pic_center]

致力于使用当前最先进的实践方法去简化传统的神经网络训练方法，提高训练速度。

fastai可以帮助程序员更加高效地训练神经网络，用它来实现MNIST手写字体识别只需要短短7行代码。如果系统安装的PyTorch版本在1.0以上，那么可以直接安装并使用fastai 1.0版本。

###### 1. 安装 ######

pip install fastai -i https://pypi.tuna.tsinghua.edu.cn/simple

![在这里插入图片描述][3c1ffeed78824f7799480d0354f6414b.png_pic_center]

等待完成

![在这里插入图片描述][e720fc712a274df08f2bf6b676e5514e.png_pic_center]

###### 2. 代码实践 ######

导人fastai中的vision包：

from fastai.vision.all import *

使用untar\_data()函数，传人参数URLs.MNIST\_SAMPLE,下载并解压MNIST数据包：

path= untar_data(URLS.MNIST_SAMPLE)

![在这里插入图片描述][1397245a873742738a3a425047a3710c.png_pic_center]

创建一个DataBunch:

data = ImageDataLoaders.from_folder(path)

初始化一个Learner,传入数据data,设置模型为resnet18。调用fit()函数开始训练，fit()函数的参数为训练次数，这里仅训练1次：

learner = cnn_learner(data, models.resnet18, metrics = accuracy)
    learner.fit(1)

训练和测试都完成后，最终结果

![在这里插入图片描述][c916965ea815461480f17c183504d843.png_pic_center]

妙啊。

[ebb78fee688d433f98cb78685814b732.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7e0682b720d7472d849890633fe7a2cb.png
[9ead4082458a41c2af1d29be93c061dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9cced122f6894d60b41a322a5ccc9701.png
[e24399bf75b84b5189aec753e2d3873a.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6333f93fcc5b4089b6c430bb61dd8436.png
[863ef86812b146e3862217502f4cdc02.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/83d2d891717b47909d51422c5971bb7b.png
[e2f46473faeb4660a9af05db39d492c4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b2a2ba5bc0c94261b50e14e9801701c1.png
[cc6b495244e244168c3ed943f46f90a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ddbd70a56ca041daac85c51f24b5ad35.png
[3ffebb8e0f0e40e6bc3815c84bf21d0f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a067dbff78eb41d69ba616f04bf0df61.png
[8e2aa14a57d448dab7e4f9a757625cc7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/24107fb086694fe88326bcf9045af2ad.png
[b5f66c0f7e284fdd8c273f72722ceb89.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9536247da7af46f2b620dfd26acf4aa9.png
[43a8afb2355c490487cdfc97e2cf606d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/88df7e8fb90a4c4db8901f4b80fa7a1f.png
[2eaf618c0c794dca9f5c93a1458dfb2d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/175497d4544b4f94ba73abf9076cac8e.png
[3c1ffeed78824f7799480d0354f6414b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fd0736e3400f433dbb67910e6a332c45.png
[e720fc712a274df08f2bf6b676e5514e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e4e4e92079a0452d8cf9bc78e7a012b7.png
[1397245a873742738a3a425047a3710c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/30f1cf75ccd4494f8680bb29fde2ecc7.png
[c916965ea815461480f17c183504d843.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b7adcff1dab940bbb3e75191c63a9eb8.png