哈工大｜NLP数据增强方法？我有15种

偏执的太偏执、 2022-09-16 05:52 183阅读 0赞

![4ec9d29fa358b8fd9263fa4c5345cf0a.png][]

> > > > 文 | rumor  
> > > > 源 | 李rumor

卷友们好，我是rumor。

十一假期过的太快了，不知道你们缓过来没有，没有的话今天我们就来一起读一篇综述缓缓，弥补假期没学习的遗憾。

![d4cc4330e1b513949b6fb23d3b0dff56.png][]

**这篇40多页的综述出自哈工大车万翔老师的团队，一共总结了15种NLP可以用到的数据增强方法、优缺点，还有一些使用技巧，十分良心**。下面就速读一下，如果要使用的话还是建议参考原文以及其他文献的应用细节。

**论文：**  
Data Augmentation Approaches in Natural Language Processing: A Survey

**地址：**  
https://arxiv.org/abs/2110.01852

# ![7a342a7af5b217381d68c85c01eeaf25.png][]数据增强方法![aa56d0770781942479500e5370ceb5d4.png][] #

数据增强（Data Augmentation，简称DA），是指根据现有数据，合成新数据的一类方法。毕竟数据才是真正的效果天花板，有了更多数据后可以提升效果、增强模型泛化能力、提高鲁棒性等。然而由于NLP任务天生的难度，类似CV的裁剪方法可能会改变语义，既要保证数据质量又要保证多样性，使得大家在做数据增强时十分谨慎。

作者根据生成样本的多样性程度，将DA方法分为了以下三种：

1.  Paraphrasing：对句子中的词、短语、句子结构做一些更改，保留原始的语义
2.  Noising：在保证label不变的同时，增加一些离散或连续的噪声，对语义的影响不大
3.  Sampling：旨在根据目前的数据分布选取新的样本，会生成更多样的数据

![181a812bc2335729ab35a16dbde33a3d.png][]

## Paraphrasing ##

![ef85765b5368f4a3fd465183a1a60075.png][]

这类方法根据替换的成分不同，又可以分为词、短语、句子级别。作者共总结了6种方法：

1.  Thesaurus：利用词典、知识图谱等外部数据，随机将非停用词替换成同义词或上位词，如果增加多样性的话还可以替换成相同词性的其他词
2.  Semantic Embeddings：利用语义向量，将词或短语替换成相近的（不一定是同义词）。由于每个词都有语义表示，可替换的范围更大。而上一种方法只能替换图谱里的
3.  MLMs：利用BERT等模型，随机mask掉一些成分后生成新的
4.  Rules：利用一些规则，例如缩写、动词变位、否定等，对句子一些成分进行改写，比如把 is not 变成 isn't
5.  Machine Translation：分为两种，Back-translation指把句子翻译成其他语言再翻译回来，Unidirectional Translation指在跨语言任务中，把句子翻译成其他语言
6.  Model Generation：利用Seq2Seq模型生成语义一致的句子

作者还贴心地整理了上述方法的优缺点。其中「歧义」主要是指有些多义词在不同场景下意思不一样，比如「我每天吃一个苹果」，替换成「我每天吃一个iphone」就不合适了。

![5be63f9684d3c171899441dc16883de6.png][]

P.S. 作者写的Strong application我没有太懂，个人觉得可以理解为应用效果好，如果有不同解读可以留言哈。

## Noising ##

人在读文本时对噪声是免疫的，比如单词乱序、错别字等。基于这个思想，可以给数据增加些噪声来提升模型鲁棒性。

![eb8afbc4ae739666c02a9e99dc9c790e.png][]

作者给出了以上5种增加噪声的方法：

1.  Swapping：除了交换词之外，在分类任务中也可以交换instance或者sentence
2.  Deletion：可以根据tf-idf等词的重要程度进行删除
3.  Insertion：可以把同义词随机插入句子中
4.  Substitution：把一些词随机替换成其他词（非同义），模拟misspelling的场景。为了避免改变label，可以使用label-independent的词，或者利用训练数据中的其他句子
5.  Mixup：这个方法最近两年比较火，把句子表示和标签分别以一定权重融合，引入连续噪声，可以生成不同label之间的数据，但可解释性较差

总的来说，**引入噪声的DA方法使用简单，但会对句子结构和语义造成影响，多样性有限，主要还是提升鲁棒性**。

这里我私下多加几个没提到的，也是我们在做[ConSERT][]

1.  对抗样本
2.  Dropout：也是SimCSE用到的，还有R-drop，都是通过dropout来加入连续噪声
3.  Feature Cut-off：比如BERT的向量都是768维，可以随机把一些维度置为0，这个效果也不错

## Sampling ##

![232065044f1d9bf367f3b09773c386a8.png][]

Sampling是指从数据分布中采样出新的样本，不同于较通用的paraphrasing，采样更依赖任务，需要在保证数据可靠性的同时增加更多多样性，比前两个数据增强方法更难。作者整理了4种方法：

1.  Rules：用规则定义新的样本和label，比如把句子中的主谓进行变换
2.  Seq2Seq Models：根据输入和label生成新的句子，比如在NLI任务中，有研究者先为每个label（entailment，contradiction，neutral）训一个生成模型，再给定新的句子，生成对应label的。对比之下，paraphrasing主要是根据当前训练样本进行复述
3.  Language Models：给定label，利用语言模型生成样本，有点像前阵子看的[谷歌UDG][UDG]。有些研究会加个判别模型过滤
4.  Self-training：先有监督训练一个模型，再给无监督数据打一些标签，有点蒸馏的感觉

作者依旧贴心地给出了4中方法的优点和局限：

![a00640df3d1e4cd7de0d73037b5c9a9c.png][]

# ![42e4887170c7b77babbc0695ccb58c06.png][]使用技巧![a09cdf8f221cd7a19f09987fe13242f0.png][] #

## 方法选择 ##

作者给出了这些方法在6个维度的对比，大家可以更好地体会他们的区别和适用场景。其中Level表示DA方法会增强的部分：`t=text, e=embedding, l=label`，Granularity表示增强的粒度：`w=word, p=phrase, s=sentence`。

![417e36c970fb165cdefb90762b3ef24b.png][]

## Method Stacking ##

实际应用时可以应用多种方法、或者一种方法的不同粒度。

作者推荐了两款工具：

Easy DA: https://github.com/jasonwei20/eda_nlp
    Unsupervised DA：https://github.com/google-research/uda

同时我搜索了一下github又发现了两个宝藏：

英文：https://github.com/makcedward/nlpaug
    中文：https://github.com/zhanlaoban/eda_nlp_for_Chinese

## Optimization ##

第一，在使用增强的数据时，如果数据质量不高，可以先让模型在增强后的数据上pre-train，之后再用有标注数据训练。如果要一起训练，在增强数据量过大的情况下，可以对原始训练数据过采样

第二，在进行数据增强时注意这些超参数的调整：

![7376495efda7cd7c6a478b1bf276e5dc.png][]

第三，其实增强很多简单数据的提升有限，可以注重困难样本的生成。比如有研究加入对抗训练、强化学习、在loss上下文章等。如果用生成方法做数据增强，也可以在生成模型上做功夫，提升数据多样性。

第四，如果生成错数据可能引入更多噪声，可以增加其他模型对准确性进行过滤。

最后，作者列举了其他研究的数据增强应用场景，大家在落地时可以借鉴：

![7196b6bc228f55ba5f9b693be1bc4414.png][]

# ![d8a67d5aa1d3d4af859ab10370942b3c.png][]总结![dc4ed841544705bcebd82029bcee1efc.png][] #

**数据增强算是很接地气的研究了，少样本、领域迁移是每个NLPer都会遇到的问题，而在数据上做文章可能比其他模型改动的方法更为有效**。同时从这篇综述也可以看到，**数据增强其实可以做得很fancy，还不影响线上速度**，比如我之前就用T5和ELECTRA做过数据增强，都有一些效果，可谓低调而不失奢华，典雅而不失大气，深度拿捏得稳稳的。

那今天就这样，祝大家早日从假期综合症缓过来，高歌猛进冲刺完2021。

> > ![948b6a42946491c37fcdd0697ebd6993.png][]后台回复关键词【**入群**】
> > 
> > **加入卖萌屋NLP/IR/Rec与求职讨论群**
> > 
> > 后台回复关键词【**顶会**】
> > 
> > **获取ACL、CIKM等各大顶会论文集！**
> > 
> > ![256601bbd5cdafa427b207b1c97d923d.gif][]

[4ec9d29fa358b8fd9263fa4c5345cf0a.png]: /images/20220828/a47fb62b2a654d31a03f06a361993dde.png
[d4cc4330e1b513949b6fb23d3b0dff56.png]: /images/20220828/35daffb4e9d84402b0b98c1d3e15f705.png
[7a342a7af5b217381d68c85c01eeaf25.png]: https://img-blog.csdnimg.cn/img_convert/7a342a7af5b217381d68c85c01eeaf25.png
[aa56d0770781942479500e5370ceb5d4.png]: /images/20220828/a87995723135439a8c9dea4940802974.png
[181a812bc2335729ab35a16dbde33a3d.png]: /images/20220828/5ef1923b282640308e18d7988d5f0e10.png
[ef85765b5368f4a3fd465183a1a60075.png]: /images/20220828/0273bb58dbea454a813bc014cd1fda76.png
[5be63f9684d3c171899441dc16883de6.png]: /images/20220828/ac806c67395341009f088fcaf0645fa7.png
[eb8afbc4ae739666c02a9e99dc9c790e.png]: /images/20220828/eafc18e596274db791ff4b443722674c.png
[ConSERT]: https://blog.csdn.net/weixin_42001089/article/details/117930433
[232065044f1d9bf367f3b09773c386a8.png]: /images/20220828/79aab244560e485da46c03996aca3959.png
[UDG]: https://mp.weixin.qq.com/s?__biz=MzAxMTk4NDkwNw==&mid=2247488544&idx=1&sn=115d77aa56ac6c2bcff6f6258975c512&scene=21#wechat_redirect
[a00640df3d1e4cd7de0d73037b5c9a9c.png]: /images/20220828/a09838a5a758451fa0c602bca74eef95.png
[42e4887170c7b77babbc0695ccb58c06.png]: https://img-blog.csdnimg.cn/img_convert/42e4887170c7b77babbc0695ccb58c06.png
[a09cdf8f221cd7a19f09987fe13242f0.png]: /images/20220828/4a91eb20c72748f484b63d054628f4bd.png
[417e36c970fb165cdefb90762b3ef24b.png]: /images/20220828/9917fa1718dd4e1db6282747521698eb.png
[7376495efda7cd7c6a478b1bf276e5dc.png]: /images/20220828/6b6df45cbc6b4623a898feeeb4341e84.png
[7196b6bc228f55ba5f9b693be1bc4414.png]: /images/20220828/83733051081646e8b5467163b51afefa.png
[d8a67d5aa1d3d4af859ab10370942b3c.png]: https://img-blog.csdnimg.cn/img_convert/d8a67d5aa1d3d4af859ab10370942b3c.png
[dc4ed841544705bcebd82029bcee1efc.png]: /images/20220828/846f9208cc2240f8bbfc1ac0f61c883c.png
[948b6a42946491c37fcdd0697ebd6993.png]: /images/20220828/49326af3c04b4dacbb40925c2991f4a2.png
[256601bbd5cdafa427b207b1c97d923d.gif]: /images/20220828/6113ff4adcde431682221654a0790814.png