【NER】对命名实体识别(槽位填充)的一些认识

桃扇骨 2021-12-03 16:35 564阅读 0赞

# 命名实体识别 #

### 1. 问题定义 ###

广义的命名实体识别是指识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、日期、货币和百分比）命名实体。但实际应用中不只是识别上述所说的实体类，还包括其他自定义的实体，如角色、菜名等等。

### 2. 解决方式 ###

命名实体识别其本质是一个序列标注问题，序列标注就是对给定文本中每一个字符打上标签。标签的格式可以分为BO，BIO和BIEO三种形式。对于数据集较少的情况，建议使用BO，如果有大量数据可以选用BIEO格式。  
命名实体识别的解决方案有三种：基于词典规则匹配、基于特征的机器学习方式和基于深度学习的方式。目前**基于深度学习的命名实体**是主流方式，现在做的实体识别也是基于深度学习方式。  
**评测指标**  
识别识别任务中的评测指标是F1,F1 = 2 \* (precison + recall) / (precision \* recall)，precision（精准率）是指在所有预测出的标签中正确的label个数, 召回是指在真实的标签中预测正确的label个数，这是整体的准召，如果想细致的分析，可以求每种label的准召及F1

### 3. 基于深度学习的命名实体识别 ###

#### 3.1 经典结构 ####

[Neural Architectures for Named Entity Recognition][] 经典论文,2016NAACL  
该论文主要提出两种结构，一种是LSTM-CRF，另一种是 Stack-LSTM，该论文中的输入主要是时**word embedding**。

![006tNc79gy1g4ykagb3blj30b00bnq6x.jpg][].

**LSTM后面为什么接CRF？**  
[如何理解LSTM后接CRF?][LSTM_CRF]简单说就是LSTM可以学习到上下文特征，CRF可以学习到label的特征，比如状态转移矩阵，tensorflow中训练时也是获得转移矩阵。

#### 3.2 字符级别结构 ####

这种是以字符作为基本输入，在char embedding基础上经过LSTM得到字符的label  
![006tNc79gy1g4ykgotc25j30mw06042g.jpg][]

#### 3.3 字符和词融合的结构 ####

在这种结构中根据对字符的抽取方式可以分为两种：一是对字符表示层用卷积网络进行提取特征，从而获取基于字符的词语表示，第二种方式是对词语的字符表示用BiLstm进行学习得到词语的表示，然后将词语的embedding与字符学习到的embeddig进行拼接作为词语的基本表示.

![006tNc79gy1g4ykhlubdcj30ms08zq7u.jpg][]

#### 3.4 字符、词和词缀融合的结构 ####

[Deep Affix Features Improve Neural Named Entity Recognizers][]

#### 3.5 加入分词信息 ####

以上四种结构是该论文[A Survey on Recent Advances in Named Entity Recognition from DeepLearning models][]提到的模型结构，自己在做中文任务时又有一些的感受。  
针对中文NER,LSTM-CRF也是一个标准的模型结构，根据任务选择输入时word embedding还是char embedding,对于中文来说，多数还是以char embdding，因为分词可能会将一些实体给切分开，后续就是在embedding的基础上使用BiLSTM进行学习上下文特征，最后接一层CRF。  
**加入分词信息**  
[Improving Named Entity Recognition for Chinese Social Mediawith Word Segmentation Representation Learning][]  
思想同上文中提到的字符和词融合的结构类似，这种方式是使用分词后，对每一个字符都使用BIES的标记格式进行标记，这就是分词信息，这种分词信息使用4\*20的矩阵进行初始化，并通过loop-up方式查找每个字符的分词信息拼接到char embedding后面作为输入，不论是直接使用lstm还是使用bert，加入分词信息效果均有提升。

#### 3.6 基于字符的部首来做中文命名实体识别 ####

[Character-Based LSTM-CRF with Radical-LevelFeatures for Chinese Named Entity Recognition][].  
2016年中科院，发布地方不详。

本文提出了基于字符的部首来做中文命名实体识别，模型结果挺简单.  
第一步获取字符的embedding，这一步是通过对字符预训练词向量和使用bi-lstm对部首学习到的向量拼接得到.  
第二步，就是通用的bi-lstm+crf，创新之处就是使用了部首编码那一步。

![006tNc79gy1g4ykmooqhnj30k00ioac5.jpg][]

#### 3.7 BERT ####

使用bert的产出的字符序列作为输入，bert中是直接对每个字符向量进行分类，我使用同上面一样的模型对字符序列分别经过LSTM和CRF，其实不知道LSTM有没有用，但是在加了之后好像效果是有点提升，但是不太理解，明明bert已经使用transform将上下文特征学的这么好了，lstm的作用几乎就不存在了吧？

#### 3.8 ERNIE ####

其中也尝试了百度的ernie，但是在预测时很乱，不知道自己哪里改错了，放弃

### 4.总结 ###

在意图识别和槽位填充时，学习了命名识别实体的方式，虽然之前也有了解，没有具体的写代码实现过。这次通过自己的调研与尝试，了解了深度学习在命名实体识别任务的基本架构： embedding作为输入，使用LSTM提取上下文特征，使用CRF获得label的转移矩阵，即对label的最后输出做一个限制。可做的优化点有：1、对embedding进行增强特征，比如char embedding与word embedding进行拼接，加入分词信息，加入部首信息等；2、多任务学习，经试验对意图和槽位联合训练比两个任务分别学习效果更明显。  
后续研究内容是调研tensorflow中crf实现过程。

##### 【参考文献】 #####

\[1\].Neural Architectures for Named Entity Recognition  
\[2\] Neural Architectures for Named Entity Recognition  
\[3\] A Survey on Recent Advances in Named Entity Recognition from DeepLearning models  
\[4\] Improving Named Entity Recognition for Chinese Social Mediawith Word Segmentation Representation Learning  
\[5\] Character-Based LSTM-CRF with Radical-LevelFeatures for Chinese Named Entity Recognition

转载于:https://www.cnblogs.com/zhaopAC/p/11197866.html

[Neural Architectures for Named Entity Recognition]: https://arxiv.org/pdf/1603.01360.pdf
[006tNc79gy1g4ykagb3blj30b00bnq6x.jpg]: /images/20211203/c427e5dc1880412c9ce7960d7c961368.png
[LSTM_CRF]: https://www.zhihu.com/question/62399257
[006tNc79gy1g4ykgotc25j30mw06042g.jpg]: /images/20211203/cefa2180f68345518184a03c8f136462.png
[006tNc79gy1g4ykhlubdcj30ms08zq7u.jpg]: /images/20211203/5ad3aa9ab4574caab58a43dd00d5cbac.png
[Deep Affix Features Improve Neural Named Entity Recognizers]: https://www.aclweb.org/anthology/S18-2021
[A Survey on Recent Advances in Named Entity Recognition from DeepLearning models]: https://aclweb.org/anthology/C18-1182
[Improving Named Entity Recognition for Chinese Social Mediawith Word Segmentation Representation Learning]: https://www.aclweb.org/anthology/P16-2025
[Character-Based LSTM-CRF with Radical-LevelFeatures for Chinese Named Entity Recognition]: http://www.nlpr.ia.ac.cn/cip/ZongPublications/2016/13%E8%91%A3%E4%BC%A0%E6%B5%B7Character-Based%20LSTM-CRF%20with%20Radical-Level%20Features%20for%20Chinese%20Named%20Entity%20Recognition.pdf
[006tNc79gy1g4ykmooqhnj30k00ioac5.jpg]: /images/20211203/46736a95e205464980e2fe206bf9a575.png