图文多模态预训练任务整理

迷南。 2024-02-20 08:26 51阅读 0赞

### **引言** ###

近些年来，随着Transformer在CV与NLP领域的广泛应用，研究者们对“多模态”的研究也越来越重视。所谓多模态，就是利用多种模态如图像、文本、音频等信息，力求在下游任务上得到更好的效果。Transformer之所以能在多模态领域发光发热，得益于它的self-attention结构能够天然适应各种不同类型的数据，当然也包括CV和NLP的输入。鉴于CV和NLP领域大多遵循预训练-微调的范式，多模态预训练也自然纳入了研究者们的视线范围。其中，除了具体网络结构，预训练任务也对预训练的效果起到了至关重要的作用，下面我就介绍几个常见的多模态预训练任务，以及它们在各种模型上的应用。

### **预训练任务概括** ###

我将预训练任务分成以下三类：

*  文本单模态：只针对文本模态的任务，最常见的是Masked Language Modeling（MLM）；
 *  视觉单模态：只针对视觉模态的任务，与文本模态类似，最常见的是Masked Vision Modeling（MVM）；
 *  多模态：针对多模态的任务，最常见的有两个，一个是Vision-Language Matching（VLM），另一个是Vision-Language Contrastive Learning（VLC）。其中在图像-文本预训练中，一般称作Image-Text Matching（ITM）和Image-Text Contrastive Learning（ITC），这里统一用VLM和VLC来表示。

以上四个预训练任务是最为常见的，下面也会针对这四个任务进行阐述。需要注意的是，虽然MLM和MVM是针对单模态的任务，但由于模型内部会有多模态的交互，因此用到的信息往往已经不是单模态的了。

#### **Masked Language Modeling（MLM）& Language Modeling（LM）** ####

MLM最先出现在1953年的一篇文章 **\[1\]** ，是一个非常经典的任务。当然，更多人认识到这个任务是在BERT **\[2\]** 中，下面也会以BERT中的MLM进行介绍。总体而言，MLM类似于完形填空，给定两侧的token，去预测中间mask掉的token。在实际实现中，首先以15%的比例随机选择mask的token位置，之后1）以80%的概率用\[MASK\]取代；2）以10%的概率用一个随机token取代；3）以10%的概率不做任何改动。用cross-entropy进行优化。

与之对应，LM任务在GPT **\[3\]** 系列中为人所熟知，通过自回归方式来逐词生成下一个token。SimVLM **\[4\]** 在此基础上提出了PrefixLM，将MLM和LM结合了起来，通过利用给定的前半部分token，自回归逐词生成下一个token。

#### **Masked Vision Modeling（MVM）** ####

由于视觉模态的信息密度要远远高于文本模态，因此直接预测mask掉的视觉特征是非常困难的。在此基础上，主要有两种MVM的结构：

*  Masked Feature Regression（MFR）：直接用模型最后的输出来预测mask掉的视觉特征；
 *  Masked Feature Classification（MFC）：退而求其次，利用一个网络对mask掉的视觉特征进行预测，其预测结果或分布作为硬标签或软标签，利用cross-entropy或KL散度进行优化。

#### **Vision-Language Matching（VLM）& Vision-Language Contrastive Learning（VLC）** ####

VLM是多模态领域最常见的任务之一，它的思想是判断给定的图像和文本是否匹配，可以看成是一个0/1分类问题。比如，一张狗的图片和关于狗的描述是匹配的，类别就为1；如果狗的图片不变，文本换成猫的描述，就认为是不匹配的，类别为0。

随着对比学习在视觉领域的广泛使用，如MoCo **\[5\]** 和SimCLR **\[6\]** ，多模态领域也逐渐重视起了对比学习的思想。CLIP **\[7\]** 是第一篇将对比学习引入多模态领域的文章，其采用的任务就是VLC。VLC的核心思想也很简单，通过cross entropy将同一类的不同模态在特征空间上拉近，不同类的不同模态在特征空间上拉远，后续也得到了广泛应用。

### **从模型应用角度看待预训练任务** ###

一直谈论理论难免无趣，下面我会按照时间顺序，从一些比较经典的多模态预训练模型来入手，看看其中到底使用了哪些预训练任务。

#### **VisualBERT** ####

![format_png][]

VisualBERT **\[8\]** 由UCLA在2019年提出，是一片较早的多模态文章，其中的objective 1和objective 2分别指的是：

*  MLM：一部分文本输入被mask掉，但不mask与图片区域相关的文本输入；
 *  VLM：同一张图片提供两个caption，其中一个为正确的caption，另一个50%概率为另一个正确的caption，50%概率为随机替换的caption。

#### **VilBERT** ####

![862d31f5d01bdd319487a2f6fa02fef6.png][]

VilBERT **\[9\]** 基本是与VisualBERT同期的工作，由佐治亚理工学院提出，通过co-attention的结构进行模态交互。上图可知，使用了三个预训练任务，从左到右分别为：

*  MVM（MFC）：mask掉15%的视觉输入，这些mask的输入以90%的概率变为0，10%的概率不变，用一个目标检测网络来得到mask区域特征的分布，并用KL散度来优化；
 *  MLM：与BERT基本相同；
 *  VLM：利用两个模态的cls做点乘，并通过一个线性层来做二分类问题。

#### **VL-BERT** ####

![format_png 1][]

VL-BERT **\[10\]** 也是2019年的同期工作，由MSRA提出，引入了RoI来辅助训练，预训练任务为：

*  MLM：与BERT基本相同；
 *  MVM（MFC）：mask掉15%的RoI，目标检测网络的输出作为标签，任务目标是预测这些mask掉的RoI的正确类别。

#### **UNITER** ####

![format_png 2][]

在此之后，UNITER **\[11\]** 由微软在2019年提出，预训练任务从左到右分别为：

*  MLM：与BERT基本相同；
 *  MVM：UNITER的MVM比较复杂，同时应用了三种变体：MFR、硬标签MFC以及软标签MFC；
 *  VLM：额外引入一个cls，通过一个FC层来进行二分类（这里与VilBERT使用两个cls是不同的）；
 *  WRA：本文还额外引入了WRA任务，这个任务引入最优运输（OT）理论，可以理解为最小化两个模态某个子分布之间的OT距离，类似对比学习的思想。

UNITER强调每次只mask掉一个模态，不会同时mask，这样可以保证重建时可以利用另一个模态的信息。

#### **Oscar** ####

![format_png 3][]

Oscar **\[12\]** 由微软在2020年提出，使用图像检测的tag作为anchor，显著加强了模态之间的对齐过程，预训练任务如下：

*  MLM：将文本与检测tag作为广义文本信息，进行mask，mask的过程与BERT基本相同；
 *  VLM：文章虽然说是VLC，但实际上还是VLM，将检测tag与图像作为广义视觉信息，利用额外引入的cls，通过一个FC层来进行二分类。

#### **CLIP** ####

![format_png 4][]

CLIP **\[7\]** 由OpenAI在2021年提出，一经发布就引起了不小的轰动，是第一篇将对比学习引入多模态领域的文章，其预训练任务也一目了然：

*  VLC：利用对比学习，将视觉与文本特征的正样本拉近，负样本拉远。

#### **ViLT** ####

![format_png 5][]

ViLT **\[13\]** 由Kakao在2021年提出，主要是借鉴ViT **\[14\]** 的思想，去掉了目标检测网络，直接用线性投影层来得到visual特征。预训练任务从左到右依次为：

*  VLM：以50%的概率替换图像，然后对整个序列用一个线性投影得到池化表示，取第一个向量，过一个FC层去做二分类；
 *  MLM：全词mask而不是对token做mask，剩下mask的过程与BERT基本相同；
 *  WPA：与UNITER类似，引入最优运输（OT）理论，最小化两个模态某个子分布之间的OT距离。

#### **SOHO** ####

![format_png 6][]

SOHO **\[15\]** 同样在2021年，由北京科技大学提出，用整张图像作为输入，并通过一个visual dictionary（VD）来消除模态间的gap，图（g）展示了用到的三个预训练任务：

*  VLM：用cls去做二分类任务；
 *  MLM：与BERT基本相同；
 *  MVM（MFC）：由于本文有VD的存在，因此有一些特殊的设计，首先从VD中选择一个向量j，然后以j为标签，选择与j匹配的图像输入进行mask就可以，其目标是预测mask的图像输入的正确标签，也就是j。

#### **ALBEF** ####

![format_png 7][]

ALBEF **\[16\]** 由Salesforce在2021年提出，顾名思义，在多模态融合之前增加了对比学习的对齐过程，预训练任务如下：

*  VLC：受MoCo **\[5\]** 启发，分别维护两个模态的队列，利用1）输入的图像与队列的文本，2）队列的图像与输入的文本的相似度来做对比学习；
 *  VLM：本文采用hard negatives去做VLM，具体来说，通过前面VLC的过程可以得到视觉-文本的相似度分数，分数最高的为正样本对，第二高的当做最难分的负样本对，去进行VLM的二分类；
 *  MLM：与BERT基本相同。

另外，由于网络上的图像-文本对是有较大噪声的，有时负样本文本也可以很好描述图像，所以本文引入了动量模型产生的pseudo-targets。1）利用队列的图像和队列的文本的相似度，希望与上文提到的VLC中的概率分布尽可能拉近，用KL散度优化，对VLC进行了补充；2）利用队列中的文本进行mask，同样希望与上文提到的MLM中的概率分布尽可能拉近，用KL散度优化，对MLM也进行了补充。

#### **SimVLM** ####

![format_png 8][]

SimVLM **\[4\]** 由谷歌在2021年提出，主要贡献就是提出了PrefixLM的预训练任务，具体如下：

*  LM（PrefixLM）：首先给定一段文本，这里是“Two brown and white dogs”，然后用给定的文本以及图像输入来逐词生成下一个token。

#### **FILIP** ####

![format_png 9][]

FILIP **\[17\]** 由华为在2021年提出，关注模态之间细粒度的对齐，预训练任务如下：

*  VLC：FILIP对CLIP的对比学习任务做了改进，能关注到更细粒度的信息。对每一个图像token，都去找相似度最高的文本token，得到一个相似度值，这样n个图像token可以有n个相似度值，再取平均作为最终的图像对文本的相似度，文本对图像的相似度也是同理，然后再去做对比学习。

#### **VLMo** ####

![format_png 10][]

VLMo **\[18\]** 由微软在2021年提出，通过视觉、文本、视觉-文本三个FFN分别训练，面对不同任务可以灵活选择不同模块来使用，预训练任务从上到下依次为：

*  VLC
 *  VLM
 *  MLM

这三个预训练任务与ALBEF基本一致，只是去掉了动量模型的部分。

#### **BLIP** ####

![format_png 11][]

BLIP **\[19\]** 与ALBEF作者团队相同，由Salesforce在2022年提出，提出的filter-captioner结构被广泛使用，预训练任务从左到右依次为：

*  VLC
 *  VLM
 *  LM：前两个任务与ALBEF完全相同，只是在第三个任务这里将MLM改成了LM，原因也很简单，BLIP有做生成任务的需要，而LM自回归的模式更加适用于生成任务。

#### **CoCa** ####

![format_png 12][]

CoCa **\[20\]** 由谷歌在2022年提出，同时用对比学习和生成两个loss来进行预训练，其预训练任务自然也就是这两个：

*  VLC：用一个可学习的query与图像特征进行attention pooling，得到图像cls，与文本cls进行对比学习；
 *  LM：用N个可学习的query与图像特征进行attention pooling，与文本特征进行cross attention去做文本生成。

#### **BEiTv3** ####

![format_png 13][]

BEiTv3 **\[21\]** 由微软在2022年提出，综合了BEiT **\[22\]** 和BEiTv2 **\[23\]** 的优势，踏足多模态领域。BEiTv3的结构类似VLMo，另外，在预训练任务上将图中的三种输入都统一为了masked data modeling，具体如下：

*  MDM（统一MVM、MLM）：BEiT的思想可以归到MVM（MFR），BEiTv3对图像的mask是完全参照BEiT来做的，将图像看成一种外语（Imglish）进行mask。实际操作中，mask掉15%的文本、50%的图像-文本对中的文本以及40%的图像patch。

#### **MAP** ####

![format_png 14][]

MAP **\[24\]** 由清华大学在2022年提出，核心思想是将各种模态投影到概率分布空间中，来处理不确定性，根据概率分布的思想，MAP改进了三个常用的预训练任务，具体如下：

*  VLC：利用两个模态的cls在投影空间的高斯分布，通过期望和标准差来做相似性计算，再做对比学习；
 *  VLM：在两个模态的cls的高斯分布上，采样两个模态的均值点和另外K个样本点，成对去做二分类；
 *  MLM：在文本模态的高斯分布上采样均值点和另外K个样本点，共K+1个点进行mask。

#### **KOSMOSv1** ####

![format_png 15][]

KOSMOSv1 **\[25\]** 由微软在2023年提出，将大语言模型的能力扩展到了多模态，预训练任务也与语言模型相对应：

*  LM：只在离散token，如文本token上应用LM。

### **小总结** ###

随着多模态大模型的发展，预训练任务也变得愈加丰富。在较为早期的一些方法中，MLM和VLM是非常常用的任务，而由于图像重建的难度更大，MVM的使用则比较保守。在此之后，对比学习的思想逐渐流行，也应用在了多模态预训练任务中，并起到了很好的效果。在这个阶段，最主流的三个任务就是：MLM、VLM和VLC。随着AIGC的火热发展，生成式任务也更被研究者们看重，曾经不太受重视的LM也因为其与生成任务的良好适配，出现频率逐渐提高。而在最近的研究中，较为传统的任务已经无法满足多模态性能提升的要求，研究者们主要有两方面的尝试：1）将各种任务统一化，以适应不同模态的输入以及大一统的趋势；2）针对已有的预训练任务，进行更深层次的改进。总而言之，预训练任务是否有效是多模态模型是否具有良好性能的重要因素之一。

### **参考文献** ###

\[1\] Taylor W L. “Cloze procedure”: A new tool for measuring readability\[J\]. Journalism quarterly, 1953, 30(4): 415-433.

\[2\] Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding\[J\]. arXiv preprint arXiv:1810.04805, 2018.

\[3\] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training\[J\]. 2018.

\[4\] Wang Z, Yu J, Yu A W, et al. Simvlm: Simple visual language model pretraining with weak supervision\[J\]. arXiv preprint arXiv:2108.10904, 2021.

\[5\] He K, Fan H, Wu Y, et al. Momentum contrast for unsupervised visual representation learning\[C\]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 9729-9738.

\[6\] Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations\[C\]//International conference on machine learning. PMLR, 2020: 1597-1607.

\[7\] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision\[C\]//International conference on machine learning. PMLR, 2021: 8748-8763.

\[8\] Li L H, Yatskar M, Yin D, et al. Visualbert: A simple and performant baseline for vision and language\[J\]. arXiv preprint arXiv:1908.03557, 2019.

\[9\] Lu J, Batra D, Parikh D, et al. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks\[J\]. Advances in neural information processing systems, 2019, 32.

\[10\] Su W, Zhu X, Cao Y, et al. Vl-bert: Pre-training of generic visual-linguistic representations\[J\]. arXiv preprint arXiv:1908.08530, 2019.

\[11\] Chen Y C, Li L, Yu L, et al. Uniter: Universal image-text representation learning\[C\]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXX. Cham: Springer International Publishing, 2020: 104-120.

\[12\] Li X, Yin X, Li C, et al. Oscar: Object-semantics aligned pre-training for vision-language tasks\[C\]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXX 16. Springer International Publishing, 2020: 121-137.

\[13\] Kim W, Son B, Kim I. Vilt: Vision-and-language transformer without convolution or region supervision\[C\]//International Conference on Machine Learning. PMLR, 2021: 5583-5594.

\[14\] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale\[J\]. arXiv preprint arXiv:2010.11929, 2020.

\[15\] Huang Z, Zeng Z, Huang Y, et al. Seeing out of the box: End-to-end pre-training for vision-language representation learning\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 12976-12985.

\[16\] Li J, Selvaraju R, Gotmare A, et al. Align before fuse: Vision and language representation learning with momentum distillation\[J\]. Advances in neural information processing systems, 2021, 34: 9694-9705.

\[17\] Yao L, Huang R, Hou L, et al. FILIP: fine-grained interactive language-image pre-training\[J\]. arXiv preprint arXiv:2111.07783, 2021.

\[18\] Bao H, Wang W, Dong L, et al. Vlmo: Unified vision-language pre-training with mixture-of-modality-experts\[J\]. arXiv preprint arXiv:2111.02358, 2021.

\[19\] Li J, Li D, Xiong C, et al. Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation\[C\]//International Conference on Machine Learning. PMLR, 2022: 12888-12900.

\[20\] Yu J, Wang Z, Vasudevan V, et al. Coca: Contrastive captioners are image-text foundation models\[J\]. arXiv preprint arXiv:2205.01917, 2022.

\[21\] Wang W, Bao H, Dong L, et al. Image as a foreign language: Beit pretraining for all vision and vision-language tasks\[J\]. arXiv preprint arXiv:2208.10442, 2022.

\[22\] Bao H, Dong L, Piao S, et al. Beit: Bert pre-training of image transformers\[J\]. arXiv preprint arXiv:2106.08254, 2021.

\[23\] Peng Z, Dong L, Bao H, et al. Beit v2: Masked image modeling with vector-quantized visual tokenizers\[J\]. arXiv preprint arXiv:2208.06366, 2022.

\[24\] Ji Y, Wang J, Gong Y, et al. MAP: Modality-Agnostic Uncertainty-Aware Vision-Language Pre-training Model\[J\]. arXiv preprint arXiv:2210.05335, 2022.

\[25\] Huang S, Dong L, Wang W, et al. Language is not all you need: Aligning perception with language models\[J\]. arXiv preprint arXiv:2302.14045, 2023.

--------------------

[图文多模态预训练任务整理 - 知乎][-]

[format_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/258f5019133b4410b890b2a1049cd817.png
[862d31f5d01bdd319487a2f6fa02fef6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/5f457c3a7d4d458abbcebfeff183c93e.png
[format_png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/c980ec21c93244289e2b798411e2b347.png
[format_png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/69072b6bdb6d416fad1723f8c2688dc5.png
[format_png 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/31a6974c102d42d9b5746019682607f4.png
[format_png 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/17393bd7fcd14e359a260089db4e5561.png
[format_png 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/1f4a78439eed42e98aad5cf7500ff925.png
[format_png 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/2d2f74a3717e47b0ab89d18471f6276e.png
[format_png 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/c5d79a0d88244e84b9d5d195df5e666b.png
[format_png 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/df9877070be64f8f8dd7cf2535c42784.png
[format_png 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/c3df5311d27e422ab1c1d53c1650175f.png
[format_png 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/868d38c002b34f4188d4df4fec4d0cc4.png
[format_png 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/5a494f9e802b43aca01f628ddd26a783.png
[format_png 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/2502847434444d51b3ceea9305b8d7d4.png
[format_png 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/c76d7f2a9fa3424aa31a6098cf0d5978.png
[format_png 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/8a6348857a944304a71c5bc7b79a7572.png
[format_png 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/12755216fb3b4cd6a8a9ecba0c9304e4.png
[-]: https://zhuanlan.zhihu.com/p/616732940?utm_id=0