练手|常见26种NLP任务的练手项目

谁借莪１个温暖的怀抱￠ 2022-03-20 03:22 275阅读 0赞

经常有人问我：老大让我完成xxx，我不会，他也不会，但是很着急。这个任务怎么实现啊？这个任务需要什么技术啊？这种情况我遇到有100+次了，而且很多时候问得问题跟具体需要的技术简直是驴唇不对马嘴。所以今天整理了常见的26种NLP任务非常适合练手的Project，我觉得有俩作用：研究+练手，加深理解，做到更专业；收藏起来，以备不时之需，不敢保证涵盖工业界所有NLP业务场景，但是涵盖95+%以上是完全没问题的。

还有一个原因，马上周末了，我发现大部分人周五晚上开始到周一上午都不看技术相关的内容，今天本来不打算发，但是被催更，那就发点不用过多思考的实践类的吧。如果精力充沛或是单身，最好周末还是保持学习状态，毕竟技术是无止境的，真的需要积累。

首先声明下，今天发的这些Project都是类似论文实现那样的demo级的，也不是传统的工程实现，用的方法一般比工业界的高端，非常适合练手用。

1.  分词 Word Segmentation

chqiwang/convseg ，基于CNN做中文分词，提供数据和代码。

对应的论文[Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation][] IJCNLP2017.

1.  词预测 Word Prediction

[Kyubyong/word\_prediction][Kyubyong_word_prediction] ，基于CNN做词预测，提供数据和代码。

1.  文本蕴涵 Textual Entailment

[Steven-Hewitt/Entailment-with-Tensorflow][Steven-Hewitt_Entailment-with-Tensorflow]，基于Tensorflow做文本蕴涵，提供数据和代码。

1.  语音识别 Automatic Speech Recognition

[buriburisuri/speech-to-text-wavenet][buriburisuri_speech-to-text-wavenet]，基于DeepMind WaveNet和Tensorflow做句子级语音识别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]

1.  自动摘要 Automatic Summarisation

[PKULCWM/PKUSUMSUM][PKULCWM_PKUSUMSUM]，北大万小军老师团队的自动摘要方法汇总，包含了他们大量paper的实现，支持单文档摘要、多文档摘要、topic-focused多文档摘要。

1.  文本纠错 Text Correct

[atpaino/deep-text-corrector][atpaino_deep-text-corrector]，基于深度学习做文本纠错，提供数据和代码。

1.  字音转换 Grapheme to Phoneme

[cmusphinx/g2p-seq2seq][cmusphinx_g2p-seq2seq]，基于网红transformer做， 提供数据和代码。

1.  复述检测 Paraphrase Detection 和 问答 Question Answering

[Paraphrase-Driven Learning for Open Question Answering][]， 基于复述驱动学习的开放域问答。

1.  音汉互译 Pinyin-To-Chinese

[Kyubyong/neural\_chinese\_transliterator][Kyubyong_neural_chinese_transliterator]，基于CNN做音汉互译。

1.  情感分析 Sentiment Analysis

情感分析包括的内容太多了，目前没发现比较全的。推荐两个适合练手的吧：[Deeply Moving: Deep Learning for Sentiment Analysis][Deeply Moving_ Deep Learning for Sentiment Analysis]，[sentic.net/about/][sentic.net_about]。

1.  手语识别 Sign Language Recognition

[Home - SignAll][]， 该项目在手语识别做的非常成熟。

1.  词性标注（POS）、 命名实体识别（NER）、 句法分析（parser）、 语义角色标注（SRL） 等。

[HIT-SCIR/ltp][HIT-SCIR_ltp]， 包括代码、模型、数据，还有详细的文档，而且效果还很好。

1.  词干 Word Stemming

[snowballstem/snowball][snowballstem_snowball]， 实现的词干效果还不错。

1.  语言识别 Language Identification

[github.com/saffsd/langid.py][github.com_saffsd_langid.py]，语言识别比较好的开源工具。

1.  机器翻译 Machine Translation

[OpenNMT/OpenNMT-py][OpenNMT_OpenNMT-py]， 基于PyTorch的神经机器翻译，很适合练手。

1.  复述生成 Paraphrase Generation

[vsuthichai/paraphraser][vsuthichai_paraphraser]，基于Tensorflow的句子级复述生成，适合练手。

1.  关系抽取 Relationship Extraction

[ankitp94/relationship-extraction][ankitp94_relationship-extraction]，基于核方法的关系抽取。

1.  句子边界消歧 Sentence Boundary Disambiguation

[github.com/Orekhov/SentenceBreaking][github.com_Orekhov_SentenceBreaking]，很有意思。

1.  事件抽取 Event Extraction

[liuhuanyong/ComplexEventExtraction][liuhuanyong_ComplexEventExtraction]， 中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件抽取，并形成事理图谱。

1.  词义消歧 Word Sense Disambiguation

[alvations/pywsd][alvations_pywsd]，代码不多，方法简单，适合练手。

1.  命名实体消歧 Named Entity Disambiguation

[dice-group/AGDISTIS][dice-group_AGDISTIS]，实体消歧是很重要的，尤其对于实体融合（比如知识图谱中多源数据融合）、实体链接。

1.  幽默检测 Humor Detection

[pln-fing-udelar/pghumor][pln-fing-udelar_pghumor]

1.  讽刺检测 Sarcasm Detection

[AniSkywalker/SarcasmDetection][AniSkywalker_SarcasmDetection]，基于神经网络的讽刺检测。

1.  实体链接 Entity Linking

[hasibi/EntityLinkingRetrieval-ELR][hasibi_EntityLinkingRetrieval-ELR]， 实体链接用途非常广，非常适合练手。

1.  指代消歧 Coreference Resolution

[huggingface/neuralcoref][huggingface_neuralcoref]，基于神经网络的指代消歧。

1.  关键词/短语抽取和社会标签推荐 Keyphrase Extraction and Social Tag Suggestion

[thunlp/THUTag][thunlp_THUTag], 用多种方法 实现了多种关键词/短语抽取和社会标签推荐。

[Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation]: https://arxiv.org/pdf/1711.04411.pdf
[Kyubyong_word_prediction]: https://github.com/Kyubyong/word_prediction
[Steven-Hewitt_Entailment-with-Tensorflow]: https://github.com/Steven-Hewitt/Entailment-with-Tensorflow
[buriburisuri_speech-to-text-wavenet]: https://github.com/buriburisuri/speech-to-text-wavenet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]: /images/20220320/7784291bd22641d1a143a9e23654bd6d.png
[PKULCWM_PKUSUMSUM]: https://github.com/PKULCWM/PKUSUMSUM
[atpaino_deep-text-corrector]: https://github.com/atpaino/deep-text-corrector
[cmusphinx_g2p-seq2seq]: https://github.com/cmusphinx/g2p-seq2seq
[Paraphrase-Driven Learning for Open Question Answering]: http://knowitall.cs.washington.edu/paralex/
[Kyubyong_neural_chinese_transliterator]: https://github.com/Kyubyong/neural_chinese_transliterator
[Deeply Moving_ Deep Learning for Sentiment Analysis]: https://nlp.stanford.edu/sentiment/
[sentic.net_about]: http://sentic.net/about/
[Home - SignAll]: http://www.signall.us/
[HIT-SCIR_ltp]: https://github.com/HIT-SCIR/ltp
[snowballstem_snowball]: https://github.com/snowballstem/snowball
[github.com_saffsd_langid.py]: https://github.com/saffsd/langid.py
[OpenNMT_OpenNMT-py]: https://github.com/OpenNMT/OpenNMT-py
[vsuthichai_paraphraser]: https://github.com/vsuthichai/paraphraser
[ankitp94_relationship-extraction]: https://github.com/ankitp94/relationship-extraction
[github.com_Orekhov_SentenceBreaking]: https://github.com/Orekhov/SentenceBreaking
[liuhuanyong_ComplexEventExtraction]: https://github.com/liuhuanyong/ComplexEventExtraction
[alvations_pywsd]: https://github.com/alvations/pywsd
[dice-group_AGDISTIS]: https://github.com/dice-group/AGDISTIS
[pln-fing-udelar_pghumor]: https://github.com/pln-fing-udelar/pghumor
[AniSkywalker_SarcasmDetection]: https://github.com/AniSkywalker/SarcasmDetection
[hasibi_EntityLinkingRetrieval-ELR]: https://github.com/hasibi/EntityLinkingRetrieval-ELR
[huggingface_neuralcoref]: https://github.com/huggingface/neuralcoref
[thunlp_THUTag]: https://github.com/thunlp/THUTag