nlpaug 自然语言文字增强

港控/mmm° 2022-10-17 10:41 189阅读 0赞

##### 1.同义词替换 #####

import nlpaug.augmenter.word as naw
    text = "hello Word!"
    aug = naw.SynonymAug(aug_src='wordnet')
    ouput = aug.augment(text)
    
    >>'hi Word!'

##### 2.上下文词嵌入增强器Contextual Word Embeddings Augmenter #####

aug = naw.ContextualWordEmbsAug(
        model_path='bert-base-uncased', action="substitute")
    ouput = aug.augment(text)
    >>'that word!'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70]

参考：https://towardsdatascience.com/nlp-extract-contextualized-word-embeddings-from-bert-keras-tf-67ef29f60a7b  
文档：  
https://nlpaug.readthedocs.io/en/latest/example/example.html  
https://github.com/makcedward/nlpaug/blob/master/example/textual\_augmenter.ipynb

[下载谷歌预训练模型][Link 1]

curl -o - https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz | gunzip > ./GoogleNews-vectors-negative300.bin

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70]: /images/20221014/6c1e78ae79d0476f9102fe6e60f1fe3a.png
[Link 1]: https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit

发表评论取消回复

表情：

评论列表（有 0 条评论，189人围观）

还没有评论，来说两句吧...

相关阅读

相关 NLP自然语言处理的文本数据增强——回译（内含python工具包）

回译自然语言处理过程经常面临缺乏数据，因此需要进行数据增强。其中，回译，即将中文翻译成外文，再翻译回中文的操作可以扩展数据集，是一种好办法。这里直接提供工具包[N

亦凉/ 2022年12月08日 05:14/ 0 赞/ 222 阅读

相关自然语言

传统的统计学习方法生成式方法代表性方法 n元语法模型（n-gram）/ 语言模型 2元法(bi-gram)和三元法(tri-gram)。需解决数据平滑问

迈不过友情╰/ 2022年11月26日 14:57/ 0 赞/ 224 阅读

相关人工智能 | 自然语言处理 —— 自然语言处理的一般流程

> 整个过程一般可以概括为四部分，语料预处理->特征工程->模型训练->指标评价 > > 目录 > > 第一部分：语料预处理 > > 第二部分：特征工程

我会带着你远行/ 2022年11月18日 01:48/ 0 赞/ 369 阅读

相关 python 自然语言处理豆瓣_自然语言处理(NLP)资源

二、课件： 1、哈工大刘挺老师的“统计自然语言处理”课件； 2、哈工大刘秉权老师的“自然语言处理”课件； 3、中科院计算所刘群老师的“计算语言学讲义“课件； 4、中科院

你的名字/ 2022年10月22日 10:50/ 0 赞/ 360 阅读

相关 nlpaug 自然语言文字增强

1.同义词替换 import nlpaug.augmenter.word as naw text = "hello Word!" aug = na

港控/mmm°/ 2022年10月17日 10:41/ 0 赞/ 190 阅读

相关编程语言与自然语言

转载请注明出处:http://blog.csdn.net/horkychen 编程语言的发展和自然语言是相似的，根本上都是以满足沟通需求为驱动力的。其中也不乏沟通的障碍

缺乏、安全感/ 2022年06月09日 05:06/ 0 赞/ 341 阅读

相关自然语言处理语料

[搜狗新闻语料][Link 1] 密码：7grc [百度百科数据][Link 2] 密码：gshk [SougouR语料][SougouR] 密码：phwd [fr

红太狼/ 2022年05月15日 06:55/ 0 赞/ 358 阅读

相关【自然语言处理】论述自然语言处理的技术范畴

文章目录论述自然语言处理的技术范畴一、前言二、主要技术范畴 1、语音合成(Spe

本是古典何须时尚/ 2022年04月22日 01:52/ 0 赞/ 1487 阅读

相关自然语言数据管理

声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会

秒速五厘米/ 2021年09月18日 11:04/ 0 赞/ 314 阅读

相关自然语言理解

声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会

浅浅的花香味﹌/ 2021年09月18日 11:02/ 0 赞/ 556 阅读