简单理解迁移学习

末蓝、 2023-01-10 14:32 96阅读 0赞

在实际场景中，经常碰到的问题是标注数据的成本十分高，无法为一个目标任务准备足够多相同分布的训练数据。

如果有一个相关任务已经有了大量的训练数据，虽然这些训练数据的分布和目标任务不同，但是由于训练数据的规模比较大，我们假设可以从中学习某些可以泛化的知识，那么这些知识对目标任务会有一定的帮助。  
入

> 如何将相关任务的训练数据中的可泛化知识迁移到目标任务上，就是迁移学习(Transfer Learning)需要解决的问题。

**迁移学习**指两个不同的领域的知识迁移过程，利用源领域(Source Domain)中学到的知识来帮助目标领域(Target Domain)上的学习任务。源领域的训练样本数量一般远大于目标领域。

迁移学习一般来说大多数是**归纳迁移学习**。下文中的迁移学习皆指归纳迁移学习。

一般而言，迁移学习要求源领域和目标领域是相关的，并且源领域有大量的训练样本，可以是有标注的，也可以是无标注的。

迁移学习主要分为以下两种。

#### 源任务为无监督学习任务(即无标注数据) ####

一个典型的例子是自然语言处理领域。由于语言相关任务的标注成本较高，很多自然语言处理任务的标注数据都比较少，导致了在这些自然语言处理任务上经常会受限于训练样本数量而无法充分发挥深度学习模型的能力。

同时，由于我们可以低成本地获取大规模的无标注的自然语言文本，因此一种自然的迁移学习方式是将大规模文本上的无监督学习(如语言模型)中学到的知识迁移到一个新的目标任务上。

从早期的预训练词向量到句子级表示都对自然语言处理任务有很大的促进作用。

#### 源领域有大量的标注数据 ####

可以直接将源领域上训练的模型迁移到目标领域上。  
例如，在计算机视觉领域有大规模的图像分类数据集ImageNet，在该数据集上有很多预训练的图像分类模型(AlexNet,VGG-16,ResNet)，可以将这些预训练模型迁移到目标任务上。

迁移学习一般有以下两种方式：

*  ①基于特征的方式：将预训练模型的输出或者是中间隐藏层的输出作为特征直接加入到目标任务的学习模型中。目标任务的学习模型可以是一般的浅层分类器(如svm)或一个新的神经网络模型。典型的例子是[FCN][]。
 *  ②精调(fine-tuning)的方式:在目标任务上复用预训练模型的部分组件，并对其参数进行精调。

假设预训练模型是一个深度神经网络，这个预训练网络的每一层的可迁移性能也不尽相同。通常来说，网络的地层学习一些通用的低层特征，中层或高层学习抽象的高级语义特征，而最后几层一般学习和特定任务相关的特征。

根据目标任务的特点以及和源任务的相关性，可以有针对性地选择预训练模型的不同层来迁移到目标任务中。

迁移学习的好处:

*  ①性能比随机初始化的模型好
 *  ②学习速度更快，收敛性更好
 *  ③模型最终性能更好，具有更好的泛化性。

[FCN]: https://blog.csdn.net/RealCoder/article/details/113033933

发表评论取消回复

表情：

评论列表（有 0 条评论，96人围观）

还没有评论，来说两句吧...

相关阅读

相关【机器学习】迁移学习

迁移学习：给定一个有标记的源域和一个无标记的目标域。这两个领域的数据分布不同。迁移学习的目的就是要借助源域的知识，来学习目标域的知识(标签)。或是指基于源域数据和目标域数据、源

浅浅的花香味﹌/ 2024年02月17日 11:11/ 0 赞/ 84 阅读

相关深度迁移学习

深度迁移学习是一种机器学习方法，其核心思想是将在一个任务中训练得到的深度学习模型作为初始点，重新应用到另一个任务中。这种方法的目标是从已学习的相关任务中转移知识，以改进新任务的

心已赠人/ 2024年02月05日 23:09/ 0 赞/ 17 阅读

相关迁移学习

迁移学习从头训练一个深度神经网络通常是不可行的，有这样两个原因：训练需要足量的数据集，而这一般是很难得到的；网络达到收敛需要很长的时间。即便得到了足够大的数据集并且网络可以

偏执的太偏执、/ 2024年01月20日 08:00/ 0 赞/ 76 阅读

相关迁移学习

![1598479-20190918172306918-861373239.png][] ![1598479-20190918172311266-1789211484

墨蓝/ 2023年08月17日 16:07/ 0 赞/ 146 阅读

相关简单理解迁移学习

在实际场景中，经常碰到的问题是标注数据的成本十分高，无法为一个目标任务准备足够多相同分布的训练数据。如果有一个相关任务已经有了大量的训练数据，虽然这些训练数据的分布和目标任

末蓝、/ 2023年01月10日 14:32/ 0 赞/ 97 阅读

相关迁移学习基础

人类具有跨任务传输知识的固有能力。我们在学习一项任务的过程中获得的知识，可以用来解决相关的任务。任务相关程度越高，我们就越容易迁移或交叉利用知识。到目前为止所讨论的机器学习和深

曾经终败给现在/ 2022年12月30日 07:59/ 0 赞/ 219 阅读

相关迁移学习详解

迁移学习可应用于多个领域：解决标注数据稀缺性非平稳泛化误差分析自然语言处理计算机视觉医疗健康和生物信息学迁移学习基本概念： ![wate

╰+攻爆jí腚メ/ 2022年04月15日 02:29/ 0 赞/ 292 阅读

相关 keras-迁移学习

[https://blog.csdn.net/baimafujinji/article/details/80743814][https_blog.csdn.net_baimaf

蔚落/ 2021年11月15日 11:18/ 0 赞/ 423 阅读

相关 Pytorch迁移学习

环境： Pytorch1.1，Python3.6，win10/ubuntu18，GPU 正文 1. Pytorch构建ResNet18模型并训练，进行真实图片分

矫情吗；*/ 2021年11月02日 02:28/ 0 赞/ 603 阅读

相关（机器学习）（名词理解）迁移学习

![20200623094630368.png][] ![20200623094643939.png][] 怎么理解？就可以这么理解吧。我们知道《百草纲目》，那么

深碍√TFBOYSˉ_/ 2021年10月09日 08:50/ 0 赞/ 401 阅读