基于Python的图像分类-Finetune训练模型

快来打我* 2022-10-16 04:50 3阅读 0赞

# 迁移训练-使用finetune #

## 零、上传文件并在终端使用解压码解压 ##

下载所需文件并上传

链接：https://pan.baidu.com/s/19DdkqOh-lrtLM1bd-dpdAA  
提取码：2333

使用终端解压

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpcXExMzY_size_16_color_FFFFFF_t_70][]

粘贴

![2021052912085772.png][]

## 一、简介 ##

本任务为，将此前我们找到的准确率最高的预训练网络模型，改造为可以从上万张图片中，帮我们筛选为五分类的中草药模型。

——注意：前面的一到八，八个步骤使用自己的中草药数据集，介绍如何使用PaddleHub进行Fine-tune迁移训练图像分类。

我们的任务：

一.需要同学们稍微完善一到八八个步骤的代码（两处），使其可以根据选择的预训练模型进行迁移训练。

二.需要自己寻找50张图片，使用预训练模型进行分类识别。 最后，要么使用代码将图片放入不同文件夹，要么使用txt文本分别记录不同分类的中草药文件名，并记录正确率

请务必使用GPU环境, 因为下方的代码基于GPU环境. 请务必使用GPU环境, 因为下方的代码基于GPU环境.

![97ccc49e6c3b18e70e8d7a6f39fd34da.png][]

当前平台正在进行普遍赠送, 只要点击[此处表单][Link 1]进行填写, 之后再度运行即可获赠.

## 二、准备工作 ##

首先导入必要的python包

!pip install paddlehub==1.7.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    import paddle

# -*- coding: utf8 -*-
    import paddlehub as hub

接下来我们要在PaddleHub中选择合适的预训练模型来Finetune。

请在此处选择前期任务准确率最高的模型

import paddle
    paddle.enable_static()
    # 选择模型
    # 此处代码为加载Hub提供的图像分类的预训练模型
    module = hub.Module(name="resnet_v2_50_imagenet")

PaddleHub 还有着许多的图像分类预训练模型，更多信息参见[PaddleHub官方网站][PaddleHub]

## 三、数据准备 ##

此处的数据准备使用的是paddlehub提供的猫狗分类数据集，如果想要使用自定义的数据进行体验，需要自定义数据，请查看[适配自定义数据][Link 2]

#上传制作成功的中草药数据集后，使用这段代码去做解压缩，注意路径
    !unzip -o /home/aistudio/dataset.zip

# 使用自定义数据集
    from paddlehub.dataset.base_cv_dataset import BaseCVDataset
       
    class DemoDataset(BaseCVDataset):	
       def __init__(self):	
           # 数据集存放位置
           self.dataset_dir = "dataset"
           super(DemoDataset, self).__init__(
               base_path=self.dataset_dir,
               train_list_file="train_list.txt",
               validate_list_file="validate_list.txt",
               test_list_file="test_list.txt",
               #predict_file="predict_list.txt",
               label_list_file="label_list.txt",
               # label_list=["数据集所有类别"]
               )
    dataset = DemoDataset()

如果想加载自定义数据集完成迁移学习，详细参见[自定义数据集][Link 2]

## 四、生成Reader ##

接着生成一个图像分类的reader，reader负责将dataset的数据进行预处理，接着以特定格式组织并输入给模型进行训练。

当我们生成一个图像分类的reader时，需要指定输入图片的大小

data_reader = hub.reader.ImageClassificationReader(
        image_width=module.get_expected_image_width(), #预期图片经过reader处理后的图像宽度
        image_height=module.get_expected_image_height(),#预期图片经过reader处理后的图像高度
        images_mean=module.get_pretrained_images_mean(),#进行图片标准化处理时所减均值。默认为None
        images_std=module.get_pretrained_images_std(), #进行图片标准化处理时所除标准差。默认为None
        dataset=dataset)

## 五、选择运行时配置 ##

在进行Finetune前，我们可以设置一些运行时的配置，例如如下代码中的配置，表示：

*  `use_cuda`：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为True；
 *  `epoch`：要求Finetune的任务只遍历1次训练集；
 *  `batch_size`：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch\_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch\_size可能导致内存不足而无法训练，因此选择一个合适的batch\_size是很重要的一步；
 *  `log_interval`：每隔10 step打印一次训练日志；
 *  `eval_interval`：每隔50 step在验证集上进行一次性能评估；
 *  `checkpoint_dir`：将训练的参数和数据保存到cv\_finetune\_turtorial\_demo目录中；
 *  `strategy`：使用DefaultFinetuneStrategy策略进行finetune；

更多运行配置，请查看[RunConfig][]

同时PaddleHub提供了许多优化策略，如`AdamWeightDecayStrategy`、`ULMFiTStrategy`、`DefaultFinetuneStrategy`等，详细信息参见[策略][Link 3]

config = hub.RunConfig(
        use_cuda=True,                                            #是否使用GPU训练，默认为False；
        num_epoch=4,                                              #Fine-tune的轮数；使用4轮，直到训练准确率达到90%多
        checkpoint_dir="cv_finetune_turtorial_demo",              #模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
        batch_size=32,                                            #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
        eval_interval=50,                                         #模型评估的间隔，默认每100个step评估一次验证集；
        strategy=hub.finetune.strategy.DefaultFinetuneStrategy()) #Fine-tune优化策略；

## 六、组建Finetune Task ##

有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。

由于猫狗分类是一个二分类的任务，而我们下载的分类module是在ImageNet数据集上训练的千分类模型，所以我们需要对模型进行简单的微调，把模型改造为一个二分类模型：

1.  获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；
2.  从输出变量中找到特征图提取层feature\_map；
3.  在feature\_map后面接入一个全连接层，生成Task；

#获取module的上下文信息包括输入、输出变量以及paddle program
    input_dict, output_dict, program = module.context(trainable=True) 
    
    #待传入图片格式
    img = input_dict["image"]  
    
    #从预训练模型的输出变量中找到最后一层特征图，提取最后一层的feature_map
    feature_map = output_dict["feature_map"]   
    
    #待传入的变量名字列表
    feed_list = [img.name]
    
    task = hub.ImageClassifierTask(
        data_reader=data_reader,        #提供数据的Reader
        feed_list=feed_list,            #待feed变量的名字列表
        feature=feature_map,            #输入的特征矩阵
        num_classes=dataset.num_labels, #分类任务的类别数量，此处来自于数据集的num_labels
        config=config)                  #运行配置

如果想改变迁移任务组网，详细参见[自定义迁移任务][Link 4]

## 七、开始Finetune ##

我们选择`finetune_and_eval`接口来进行模型训练，这个接口在finetune的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。

run_states = task.finetune_and_eval() #通过众多finetune API中的finetune_and_eval接口，可以一边训练网络，一边打印结果

## 八、使用模型进行预测 ##

当Finetune完成后，我们使用模型来进行预测，先通过以下命令来获取测试的图片

`注意`：填入测试图片路径后方可开始测试

预测代码如下：

import numpy as np
    
    import os,sys
    path="pic"
    dirs=os.listdir(path)
    num=0
    for x in dirs:
        m='pic/'+x
        dirs[num]=m
        num+=1
    
    data =dirs       #此处传入需要识别的照片地址
    label_map = dataset.label_dict()
    index = 0
    
    # get classification result
    run_states = task.predict(data=data) #进行预测
    results = [run_state.run_results for run_state in run_states] #得到用新模型预测test照片的结果
    
    for batch_result in results:
        # get predict index
        batch_result = np.argmax(batch_result, axis=2)[0]
        for result in batch_result:
            index += 1
            result = label_map[result]
            print("input %i is %s, and the predict result is %s" %
                  (index, data[index - 1], result))

## 九、自己寻找50张中草药图片（还是我们5种分类的图片，但是不能使用我们训练图片），然后对50张中草药图片进行分类，并记录准确率。 ##

!pip install paddlehub==1.7.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    import paddle
    
    # -*- coding: utf8 -*-
    import paddlehub as hub
    
    import paddle
    paddle.enable_static()
    # 选择模型
    # 此处代码为加载Hub提供的图像分类的预训练模型
    module = hub.Module(name="resnet_v2_50_imagenet")
    
    # 使用自定义数据集
    from paddlehub.dataset.base_cv_dataset import BaseCVDataset
       
    class DemoDataset(BaseCVDataset):	
       def __init__(self):	
           # 数据集存放位置
           self.dataset_dir = "dataset"
           super(DemoDataset, self).__init__(
               base_path=self.dataset_dir,
               train_list_file="train_list.txt",
               validate_list_file="validate_list.txt",
               test_list_file="test_list.txt",
               #predict_file="predict_list.txt",
               label_list_file="label_list.txt",
               # label_list=["数据集所有类别"]
               )
    dataset = DemoDataset()
    
    data_reader = hub.reader.ImageClassificationReader(
        image_width=module.get_expected_image_width(), #预期图片经过reader处理后的图像宽度
        image_height=module.get_expected_image_height(),#预期图片经过reader处理后的图像高度
        images_mean=module.get_pretrained_images_mean(),#进行图片标准化处理时所减均值。默认为None
        images_std=module.get_pretrained_images_std(), #进行图片标准化处理时所除标准差。默认为None
        dataset=dataset)
    
    config = hub.RunConfig(
        use_cuda=True,                                            #是否使用GPU训练，默认为False；
        num_epoch=4,                                              #Fine-tune的轮数；使用4轮，直到训练准确率达到90%多
        checkpoint_dir="cv_finetune_turtorial_demo",              #模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
        batch_size=32,                                            #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
        eval_interval=50,                                         #模型评估的间隔，默认每100个step评估一次验证集；
        strategy=hub.finetune.strategy.DefaultFinetuneStrategy()) #Fine-tune优化策略；
    
    #获取module的上下文信息包括输入、输出变量以及paddle program
    input_dict, output_dict, program = module.context(trainable=True) 
    
    #待传入图片格式
    img = input_dict["image"]  
    
    #从预训练模型的输出变量中找到最后一层特征图，提取最后一层的feature_map
    feature_map = output_dict["feature_map"]   
    
    #待传入的变量名字列表
    feed_list = [img.name]
    
    task = hub.ImageClassifierTask(
        data_reader=data_reader,        #提供数据的Reader
        feed_list=feed_list,            #待feed变量的名字列表
        feature=feature_map,            #输入的特征矩阵
        num_classes=dataset.num_labels, #分类任务的类别数量，此处来自于数据集的num_labels
        config=config)                  #运行配置
    
    run_states = task.finetune_and_eval() #通过众多finetune API中的finetune_and_eval接口，可以一边训练网络，一边打印结果
    
    import numpy as np
    
    import os,sys
    path="pic"
    dirs=os.listdir(path)
    num=0
    for x in dirs:
        m='pic/'+x
        dirs[num]=m
        num+=1
    
    data =dirs       #此处传入需要识别的照片地址
    label_map = dataset.label_dict()
    index = 0
    
    # get classification result
    run_states = task.predict(data=data) #进行预测
    results = [run_state.run_results for run_state in run_states] #得到用新模型预测test照片的结果
    
    for batch_result in results:
        # get predict index
        batch_result = np.argmax(batch_result, axis=2)[0]
        for result in batch_result:
            index += 1
            result = label_map[result]
            print("input %i is %s, and the predict result is %s" %
                  (index, data[index - 1], result))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpcXExMzY_size_16_color_FFFFFF_t_70]: /images/20221014/eec02c36ee9542bdb9a1555d268af56c.png
[2021052912085772.png]: /images/20221014/c6632ccde48e48b5ad095eedea005f50.png
[97ccc49e6c3b18e70e8d7a6f39fd34da.png]: /images/20221014/bdc6acd0c4ab4a90bad2855f744eadbc.png
[Link 1]: https://aistudio.baidu.com/aistudio/questionnaire?activityid=457
[PaddleHub]: https://www.paddlepaddle.org.cn/hub
[Link 2]: https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub%E9%80%82%E9%85%8D%E8%87%AA%E5%AE%9A%E4%B9%89%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%88%90FineTune
[RunConfig]: https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-RunConfig
[Link 3]: https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-Strategy
[Link 4]: https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub:-%E8%87%AA%E5%AE%9A%E4%B9%89Task