NLP数据增强综述

快来打我* 2023-02-10 03:43 155阅读 0赞

英文版：[A Visual Survey of Data Augmentation in NLP][]

## 1.词汇替换 ##

*  1.基于词典的替换；  
    从句子中随即取出一个单词，并使用同义词词典将其替换为同义词。
 *  2.基于词向量的替换  
    采用预先训练好的单词嵌入，使用嵌入空间中最近的单词替换句子中的某些单词。
 *  3.基于TF-IDF的词替换  
    TF-IDF分数较低的单词不能提供信息，因此可以在不影响句子的ground-truth的情况下替换它们。

## 2.反向翻译 ##

反向翻译过程如下：

*  把一些句子(如英语)翻译成另一种语言，如法语
 *  将法语句子翻译回英语句子。
 *  检查新句子是否与原来的句子不同。如果是，那么我们使用这个新句子作为原始文本的数据增强。

还可以同时使用不同的语言运行反向翻译以生成更多的变体。

## 3.文本表面转换 ##

使用正则表达式的简单的模式匹配的转换。

## 4.随机噪声注入 ##

思想是在文本中加入噪声，使所训练的模型对扰动具有鲁棒性。

*  拼写错误注入  
    在句子中的一些随机单词上添加拼写错误。这些拼写错误可以通过编程方式添加，也可以使用常见拼写错误的映射。
 *  QWERTY键盘错误注入  
    该方法试图模拟在QWERTY布局键盘上输入时发生的常见错误，这些错误是由于按键之间的距离非常近造成的。错误是根据键盘距离注入的。
 *  Unigram噪声  
    其思想是用从单字符频率分布中采样的单词进行替换。这个频率基本上就是每个单词在训练语料库中出现的次数。
 *  Blank Noising  
    其思想是用占位符标记替换一些随机单词。
 *  句子打乱  
    将训练文本中的句子打乱，以创建一个增强版本。

## 5.实力交叉增强 ##

这项技术的灵感来自于遗传学中发生的染色体交叉操作。

## 6. 语法树操作 ##

其思想是解析和生成原始句子的依赖关系树，使用规则对其进行转换，并生成改写后的句子。

## 7.文字混合 ##

*  wordMixup  
    ![在这里插入图片描述][20200520090457972.png]
 *  sentMixup  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70]

[A Visual Survey of Data Augmentation in NLP]: https://amitness.com/2020/05/data-augmentation-for-nlp/
[20200520090457972.png]: https://img-blog.csdnimg.cn/20200520090457972.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200520090526462.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ==,size_16,color_FFFFFF,t_70