3天深入浅出NLP笔记（二）迁移学习&模型融合专题

素颜马尾好姑娘i 2022-11-01 05:42 199阅读 0赞

### 迁移学习&模型融合专题 ###

*  疫情期间网民情绪识别赛题背景——多模态(文本、图片、视频)分类任务
 *  迁移学习 transfer learning
 *   *  定义
     *  综述
     *  领域自适应
     *  Bert
     *  半监督DA问题
 *  模型融合
 *  作业（额外问题）

# 疫情期间网民情绪识别赛题背景——多模态(文本、图片、视频)分类任务 #

比赛地址：https://www.datafountain.cn/competitions/423/datasets

# 迁移学习 transfer learning #

## 定义 ##

定义：通过减少源域到目标域的分布差异，进行知识迁移，从而实现数据标注工作。  
解释定义：一种标注工作：为了减少源域、目标域间的数据差异，将其放入相同特征空间进行学习。  
定义理解：  
传统机器学习/深度学习：数据分布同分布。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]

## 综述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]  
归纳式迁移学习  
直推式迁移学习：领域自适应。任务一致，数据不一致。  
无监督迁移学习  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 2]  
如果源域和目标域中，源域是文本，目标域是图片，我们可以找一个中间域，将多部迁移划分为单部迁移one-step。  
单部迁移one-step又分为：同构DA问题和异构DA问题。  
同构DA问题：数据空间一致，数据分布不一致。（都是文本，一个黑白图片、一个彩色图片）。分为有监督、半监督、无监督DA问题。

## 领域自适应 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 4]  
特征自适应（很有效），源域和目标域共享某种特征，将源域和目标域提取到对应的共同空间，距离就会越近，目标域性能会提升。  
领域自适应中有监督问题是子问题。数据空间一致，数据分布不一致。学习共同空间，进行知识迁移。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 5]  
因为深度网络在浅层学习内容具体，深层学习的内容抽象。网络已经具备提取基础特征和抽象特征的能力时，fine-tune：学习了特定任务的特征，有效。

## Bert ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 6]  
Bert预训练任务：  
MLM: masked language model  
Next Sentence Prediction  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 7]  
Bert是12层网络结构：

1.  Inputs：文字转成ID对应的输入。
2.  经过Embedding后➕位置的Encoding（Bert是采用Attention机制，没办法获得句子原始的序列）——得到I
3.  进入网络：多头Attention，原始的输入I，经过Dense层，分别输出Key、Query、Value。I加在其中做残差网络，再经过Batch Norm层。反馈神经网络进行非线性学习，和原来输入结合做残差，再经过Batch Norm层。

## 半监督DA问题 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 8]  
半监督DA问题  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 9]  
通过减小源域和目标域分布差异，实现域的自适应。

# 模型融合 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 10]  
投票也可以预测的概率结果做平均。  
交叉验证：抽取的数据固定下来，将数据加权平均。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 11]  
训练：对于N个模型“五折”：每个模型分成五份的数据，用其他四份数据预测一份数据，得到预测结果。得到了N个feature进行逻辑回归得到模型。

# 作业（额外问题） #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 12]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]: /images/20221024/d16c797db6e24f0f8fbf9ea477a2015c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]: /images/20221024/e77ce1fff0744666ae26968e789d2895.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 2]: /images/20221024/9a436e8d1c2d4d01be465d24dc814eb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 3]: /images/20221024/b532e6591bed49898d79b93d9614507f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 4]: /images/20221024/55fe1974499e4da8908c934a9a4bbb04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 5]: /images/20221024/866b9a3d3c1a4bb3ba5fd56002a0895f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 6]: /images/20221024/15bea9b3faaa47459937bcd3715fe288.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 7]: /images/20221024/67cd53d75ce344da873454ed369b813c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 8]: /images/20221024/a39cd0ebc0b74a80a55766ba227e00eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 9]: /images/20221024/7e7d4bea2fa3454ba1ad2ec8892afdbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 10]: /images/20221024/3b36c0f3fee4461f84f69a6336be33e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 11]: /images/20221024/dac39e3b00984227871b17d6ffd4d836.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 12]: /images/20221024/609d4237ca964f07a138b2fde23b3b7d.png