PyTorch深度学习入门深度学习基础 2.5 多元分类

一时失言乱红尘 2024-03-22 13:15 72阅读 0赞

#### PyTorch深度学习入门 ####

#### 文章目录 ####

*   *   *  PyTorch深度学习入门
         *   *  深度学习基础
             *  2.5 多元分类
             *   *  1. softmax 函数
                 *  2. 多元分类示例

![在这里插入图片描述][26cc12f5acdb4100a2ea9da93ae6de14.png_pic_center]

##### 深度学习基础 #####

##### 2.5 多元分类 #####

如何利用神经网络进行多元分类。

###### 1. softmax 函数 ######

多元分类问题与二元分类问题类似，区别在于用softmax 函数替代sigmoid 函数。

多元分类的神经网络要求输出层的神经元数目与所需分类的类别数保持一致。

![在这里插入图片描述][92dc8087d1f54071996b312c068994d6.png_pic_center]

如上图，假设分类的类别数为 k，那么softmax 函数需要输入k 个值，然后输出k 个概率。

实际上就是sigmoid 函数的推广。

softmax 函数的数学公式：

π l = e η l ∑ j = 1 k e η l \\pi\_l=\\frac\{\\mathrm\{e\}^\{\\eta\_l\}\}\{\\sum\_\{j=1\}^k \\mathrm\{e\}^\{\\eta\_l\}\} πl=∑j=1keηleηl

softmax 函数可以巧妙地将多个分类的分数转化为  ( 0 , 1 ) (0,1) (0,1) 的值并且和为 1 :

∑ i = 1 k π i = 1 \\sum\_\{i=1\}^k \\pi\_i=1 i=1∑kπi=1

###### 2. 多元分类示例 ######

简单做个三分类先。

import torch
    import matplotlib.pyplot as plt
    
    cluster = torch.ones(500, 2)  # 形状为500x2, 各元素值为1
    data0 = torch.normal(4 * cluster, 2)  # 以4为均值,2为标准差, 生成正态分布的500个数据点
    data1 = torch.normal(-4 * cluster, 1)  # 以-4为均值, 1为标准差生成数据簇
    data2 = torch.normal(-8 * cluster, 1)  # 以-8为均值, 1为标准差生成数据簇
    
    # 3 种数据对应的标签分别用0、1、2表示
    label0 = torch.zeros(500)
    label1 = torch.ones(500)
    label2 = label1 * 2
    
    # 将数据合并
    x = torch.cat((data0, data1, data2), ).type(torch.FloatTensor)
    y = torch.cat((label0, label1, label2), ).type(torch.LongTensor)
    
    plt.scatter(x.numpy()[:, 0], x.numpy()[:, 1], c=y.numpy(), s=10, lw=0, cmap='RdYlGn')
    plt.show()

![在这里插入图片描述][05e0298df8484f0ca20881a3d67a84e8.png_pic_center]

import torch.nn.functional as F

后面要用到激活函数relu() 和分类的softmax() 函数。

from torch import nn, optim
    
    
    class Net(nn.Module):  # 神经网络Net：包含输入层、隐含层和输出层
        def __init__(self, input_feature, num_hidden, outputs):
            super(Net, self).__init__()
            self.hidden = nn.Linear(input_feature, num_hidden)
            self.out = nn.Linear(num_hidden, outputs)
    
        def forward(self, x):
            x = F.relu(self.hidden(x))
            x = self.out(x)
            x = F.softmax(x)
            return x
    
    
    CUDA = torch.cuda.is_available()
    
    if CUDA:
        net = Net(input_feature=2, num_hidden=20, outputs=3).cuda()  # 输入层维度为2, 设置隐含层的神经元数为20, 由于分3类，所以输出层维度为3
        inputs = x.cuda()
        target = y.cuda()
    else:
        net = Net(input_feature=2, num_hidden=20, outputs=3)
        inputs = x
        target = y

定义优化函数和目标函数

optimizer = optim.SGD(net.parameters(), lr=0.02)
    criterion = nn.CrossEntropyLoss()

和之前差不多的绘图函数和训练函数

def draw(output):
        if CUDA:
            output = output.cpu()
    
        plt.cla()
        output = torch.max((output), 1)[1]
        pred_y = output.data.numpy().squeeze()
        target_y = y.numpy()
        plt.scatter(x.numpy()[:, 0], x.numpy()[:, 1], c=pred_y, s=10, lw=0, cmap='RdYlGn')
        accuracy = sum(pred_y == target_y) / 1500.0
        plt.text(1.5, -4, 'Accuracy = %s' % (accuracy), fontdict={
        'size': 20, 'color': 'red'})
        plt.pause(0.1)
    
    
    def train(model, criterion, optimizer, epochs):
        for epoch in range(epochs):
            output = model(inputs)
            loss = criterion(output, target)
    
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
    
            if (epoch + 1) % 10000 == 0:
                draw(output)

OK， 训练10000轮

train(net, criterion, optimizer, 10000)

训练结果

![在这里插入图片描述][c71796053a704392b73957bed86c6f67.png_pic_center]

[26cc12f5acdb4100a2ea9da93ae6de14.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7e31284c5db94e68ac0f49286a85e89e.png
[92dc8087d1f54071996b312c068994d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/10a6c0d51b164088898c7dc86171d9df.png
[05e0298df8484f0ca20881a3d67a84e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/656f8f377693437e9d2d3011278e9145.png
[c71796053a704392b73957bed86c6f67.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/c88cc532b541411daf2994d23c444c19.png