深入理解NLP笔记

分手后的思念是犯贱 2022-10-13 12:50 167阅读 0赞

目前数据结构有哪些？

*  结构化数据，如：关系型数据
 *  半结构化数据，如：XML数据
 *  非结构化数据，如：Word、PDF、文本、日志

能胜任这样挑战的技术除了大数据，就是NLP，NLP的应用场景：

词法分析：分词、词性标注、实体识别
    词向量表示：语义挖掘、词义相似度
    文本相似度：计算两个短文本之间的语义相似度，实现推荐和排序
    依存句法分析：自动分析文本中的依存句法结构信息
    `DNN`语言模型：判断一句话是否符合语言表达习惯
    文本纠错：识别文本中的错别字，给出提示及正确的建议
    情感倾向分析：对包含主观信息的文本进行情感倾向性判断
    评论观点抽取：分析评论关注点和观点，输出标签及观点极性
    对话情绪识别：识别会话者所表现出的情绪类别及置信度
    文本标签：输出能够反映文章关键信息的多维度标签
    文章分类：输出文章的主题分类及对应的置信度
    新闻摘要：抽取关键信息并生成指定长度的新闻摘要
    文本审核：对敏感内容进行识别和过滤
    文本翻译：通用翻译、语音翻译、拍照翻译

只要对NLP稍有了解就不难发现，分词是NLP基础中的基础，很多的NLP任务都是依赖着分词的结果，因此也就影响着最终结果的质量，可见分词的重要性。

*  首先，海量的文本内容全部向量化输入给计算机进行处理，那么耗时将是一个天文数字，倒是可以期待一下量子计算机
 *  其次，如果是监督学习需要大量的训练数据，那么获取大量的高质量训练数据的成本也是巨大的，甚至是几乎无法实现的
 *  最后，如果是无监督学习，那么前期就需要很多的人工处理，比如：关键词、主题词挖掘就依赖中文分词的准确性等

虽然现在已经有了很多优秀的开源中文分词工具，例如：`jieba、ik`等，可以一定程度上解决部分问题，但是一旦涉及到高质量、特殊化，那么这些中文分词工具就会立刻捉襟见肘，漏洞百出。  
原因很简单，因为这些开源的中文分词工具都是基于通用语料标注得到的词典，那么必然在领域、时效方面存在缺陷。

开源的中文分词工具，大多使用的也都是开源的语料库，如：人民日报，这样综合性的语料库，好处自然是比较全面，但缺点也比较突出，就是缺少大量的专有词汇。  
这些专有词汇的种类非常丰富，例如：小说人物名、品牌、机构、地点、特殊的道具、专业词汇等等。像灬点点（博客名）、公鸡贷（品牌）这样的词汇就不能切出来。

致力于从事NLP相关工作的开发者，就必须熟悉中文分词的原理及实现，才能够根据自己的实际业务需要，灵活运用，开发出更有针对性的系统，满足个性化的需求。

中文分词不仅对NLP来说非常重要，其背后的原理涉及到的知识面也非常广，而且这些知识的实用性非常高，可以为很多问题提供解决思路。

*  统计学，主要涉及最大概率、凝固度等
 *  信息论，主要涉及信息熵、交叉熵等
 *  图模型，主要涉及有向无环图的计算、`HMM`模型、`CRF`模型等
 *  数据结构，主要涉及到Trie树、图结构等
 *  线性代数，主要涉及到余弦相似度等
 *  深度学习，主要涉及到神经网络、词向量训练及使用
 *  开发技巧，主要涉及到一些业务案例的开发技巧及思路

`如果看应试者是否开发过NLP，直接问他关于中文分词歧义的问题`：

羽毛球拍卖完了
    羽毛球 / 拍卖 / 完了
    羽毛球拍 / 卖 / 完了

这两种切分形式，无论从语法上，还是语义上都是正确的，但却是两个完全不同的意思，这也就是导致中文分词精度不高的原因之一。  
概括起来中文分词歧义主要有两种类型，分别是交集型歧义和组合型歧义，下面分别讲解一下。

交集歧义：用一个直观的形式表示交集型歧义就是：`ABC`，即可以切分成`AB/C`，也可以切分成`A/BC`。  
组合歧义：同样用一个直观的形式表示组合型歧义就是：`AB`，即可以组合成`AB`，也可以切分成`A/B`。

通过大量的评测结果表明，未登录词对精度的影响是歧义问题的5倍以上，所以孰轻孰重，立分高下。  
未登录词其实不难理解，就是没有被收录到分词词典里的词。这样的词类型有很多：人名、机构名、缩写词、新增词等等。

当然已经有了很多的方法，可以自动识别未登录词，比如：`HMM`、`CRF`等。

HMM：隐马尔可夫模型，是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。
    
    CRF：条件随机场，是给定一组输入序列条件下另一组输出序列的条件概率分布模型。

`N-Gram`是一种基于统计语言模型的算法，其基本思想是将文本里面的内容按照字节进行大小为`N`的滑动窗口切分，形成了长度为`N`的字节片段序列。

统计语言模型，是将每句话都看作是由单词组成的序列，然后对每句话评定一个概率，若该概率越高，则说明该句话越符合语法，越像人话。

当一段文本根据词典切分存在多种可能的结果时，那么如何选择出最优的切分路径，就可以使用`N-Gram`模型利用统计信息找出一条概率最大的路径，得到最终的分词结果。

但在一些特殊的业务场景里，这样的结果是非常有价值的，如：新词发现、文本挖掘等，下面我结合实际的工作场景，简单为大家说明一下。

`假设有这样一个需求`：