PyTorch使用Dataset和DataLoader加载数据集

你的名字 2022-12-19 14:27 359阅读 0赞

在PyTorch里优化器都是小批量小批量地优化训练的，即每次都会从原数据集中取出一小批量进行训练，完成一次权重更新后，再从原数据集中取下一个小批量数据，然后再训练再更新。。。比如最常用的小批量随机梯度下降(Mini-Batch Gradient Descent,MBGD)。

毕竟原数据集往往很大，不可能一次性的全部载入内存，只能一小批一小批地载入内存。训练完了就扔了，再加载下一小批。

--------------------

# 如何实现批量地加载数据集？ #

在PyTorch的torch.utils.data包中定义了两个类Dataset和DataLoader，这两个类就是用来“批量地加载数据”。

下面说一下其用法，也就是如何批量地加载数据：

# 写一个简单的数据加载器 #

import numpy as np
    import torch 
    # utils是工具包
    from torch.utils.data import Dataset  # Dataset是个抽象类，只能用于继承
    from torch.utils.data import DataLoader # DataLoader需实例化，用于加载数据
    
    
    class GetData(Dataset):   # 继承Dataset类
        def __init__(self, csv_path): 
            df = pd.read_csv(csv_path, sep='\t') # 加载csv数据集文件
            
            # 把数据和标签拿出来 
            self.data = df['data'] 
            self.label = df['label']
    
            # 数据集的长度
            self.length = data.shape[0]
            
        # 下面两个魔术方法比较好写，直接照着这个格式写就行了 
        def __getitem__(self, index): # 参数index必写
            return self.x_data[index], self.y_data[index]
        
        def __len__(self): 
            return self.length # 只需返回一个数据集长度即可
    
    # 实例化 
    dataset = GetData('data/diabetes.csv') 
    train_loader = DataLoader(dataset=dataset, # 要传递的数据集
                              batch_size=32, #一个小批量数据的大小是多少
                              shuffle=True, # 数据集顺序是否要打乱，一般是要的。测试数据集一般没必要
                              num_workers=2) # 需要几个进程来一次性读取这个小批量数据

# 使用方法 #

> 类似于迭代器的使用

for epoch in range(100): 
    	
    	# ---------------主要看这两行代码------------------
        for i, data in enumerate(train_loader, 0): 
            # 1. 数据准备 
            inputs, labels = data 
        # ---------------主要看这两行代码------------------
            
            # 2. 前向传播 
            y_pred = model(inputs) 
            loss = criterion(y_pred, labels) 
            print(epoch, i, loss.item()) 
            # 3. 反向传播
            optimizer.zero_grad() 
            loss.backward() 
            # 4. 权重/模型更新 
            optimizer.step()

# 总结 #

模板如下：

class GetData(Dataset): 
        def __init__(self): 
            ''' 有两种写法： 1、将全部数据都加载进内存里，适用于少量数据（上面那个例子就是全部加载）； 2、当数据量或者标签量很大时，比如图片，就把这些数据或者标签放到文件或数据库里去，只需在此方法中初始化定义这些文件索引的列表即可。 '''
            pass
        
        # 以下2个方法都是魔法方法
        def __getitem__(self, index): # 表示将来实例化这个对象后，它能支持下标（索引）操作，也就是能通过索引把里面的数据拿出来。
            pass
        def __len__(self):  # 返回数据集条数
            pass
        
    dataset = GetData() 
    train_loader = DataLoader(dataset=dataset, # 传递数据集
                              batch_size=32, #一个小批量容量是多少
                              shuffle=True, # 数据集顺序是否要打乱，一般是要的。测试数据集一般没必要
                              num_workers=2) # 需要几个进程来一次性读取这个小批量数据