NER(命名实体识别)之LatticeLSTM+CRF详解

ゝ一纸荒年。 2021-09-25 07:20 544阅读 0赞

![图片][f7525422542dbba0565383eeb8da1f10.png]

paper: https://arxiv.org/pdf/1805.02023.pdf

code:https://github.com/jiesutd/LatticeLSTM

**前言**

NER（命名实体识别）是信息抽取的一个基础任务，常用的做法是character-based和word-based，其中基于字符的方法是每个字符会输出一个实体标签，它的缺点是不能利用字与字之间的信息；而基于词的方法是每个词会输出一个实体标签，会受到分词的影响，而且更容易出现OOV的情况。

而且《Chinese named entity recognition and word segmentation based on character》、《Chinese named entity recognition with a sequence labeling approach: based on characters, or based on words?》、《Comparison of the impact of word segmentation on name tagging for Chinese and japanese.》这三篇论文都说明了character-based方法要优于word-based方法，那有没有一种方法可以把这两种方法结合呢？有，最近NER模型词汇增强方法之一的LatticeLSTM就是。在介绍这个模型之前，我们先简单回顾一下之前的模型。

![图片][03428f6e52d87ea5e3be0ac981e1e87d.png]

首先介绍一下符号，一个句子可以表示为每个字符的序列，如s = c1,c2,...,cm，同样也可以表示为每个词的序列，如s = w1,w2,...,wn，那么可以使用t(i,k)表示第i个词的第k个字符。

**基于字符和基于词模型**

**1、Character-Based Model**

**1）Char + bichar**

xcj = \[ec(cj ); eb(cj , cj+1)\]，把当前字符和当前字符与下一个字符的词向量拼接起来。

**2）Char + softword**

xcj = \[ec(cj);es(seg(cj))\]，seg(cj)表示的label的词向量，如果一个词包括两个字符，那么这两个字符的seg(cj)应该是一样的。

**2、Word-Based Model**

**1）Word + char LSTM**

![图片][179628f1f1698e30f84d088212cd0f2d.png]

通过双向拼接词的最后一个字符的隐藏向量来表示词向量

**2）Word + char LSTM′**

使用标准的biLSTM进行拼接每个字符的词向量

**3）Word + char CNN**

![图片][f014152ee749b600318da59bd9227f8d.png]

采用卷积的方式来捕获词的字符信息，比如一个词有3个字符，卷积窗口为2，那么可以进行两次卷积，了解CNN的朋友，很容易理解的，然后使用maxpooling。

**LatticeLSTM模型介绍**

前面算是“开胃菜”，哈哈，主菜马上就来。

![图片][e3e4bc3c7e5babfd6949d5c9ebbce814.png]

LatticeLSTM通过引入词汇的信息可以排除“江大桥”是人名所产生的歧义。序列中每个字符之间都可能会组合成相应的词汇，但是如果枚举所有的可能，这么这个是序列长度的指数级复杂度，LatticeLSTM是通过引入外部词典，并且使用门控机制来进行动态选择词汇和融入词汇信息来实现。

首先每个字符会使用下面lookup table方式使用向量表示

![图片][4afcf17413869a470e9d9c6a8ec644a2.png]

再介绍一下标准的LSTM的公式，相信很多人都非常清楚了，符合的含义我这里也不解释了。下面是基于字符的LSTM结构

![图片][2c2a97fbfa0cfff17431d86007cd26aa.png]

句子序列可以通过和外部词典匹配到所有可能的词，然后使用某种词向量（比如word2vec等等）方式来映射为词向量，如下图

![图片][c10f8f03cf0b9adf249d0521d8800a5a.png]

其中b和e表示词在句子中的索引。下面是基于词的LSTM结构

![图片][6969e9fc27551fb6fe0f71c296254c8e.png]

由于序列的label是字符级别的输出，所以词的LSTM是不需要输出门的。

LatticeLSTM是考虑词典中以当前字符结尾的所有可能词，那么有可能会出现多个词，比如“南京市长江大桥”中的字符“桥”，那么在字典中可能会出现“大桥”和“长江大桥”两个词，那么多个词是如何引入的呢？看下面的公式

![图片][51930cfcb13f81d65262e690fa6b6b53.png]

![图片][1651e6b4ec814de1ab060156564ca474.png]

通过上面的公式计算出每个字符以及以该字符结尾的词的权重，代入到下面的公式进行加权求和

![图片][f17476e0e8e705cf7f0661bd4eaa67ea.png]

最后使用下面的公式来更新隐藏状态（不使用标准LSTM中的

![图片][62818d9d96240d827b60031b55588361.png]）

![图片][1b8702a54836fe7e0d961bdebe44db6a.png]

解码就是标准的CRF，公式如下：

![图片][5ada736ef3f8445088063da5d7dc5f8b.png]

![图片][095d7a7bc12a0144539d421387456999.png]

**LatticeLSTM模型实验**

1、数据集

![图片][ef1daa41d5995b0e76e74a941d1532f4.png]

2、模型超参数

![图片][f067ef2e4b6dd502bd8845f5511ce7be.png]

3、实验结果

![图片][d60b4680b2eca7a3cd58a7c3868cbc29.png]

![图片][634f3b3478d1f889956075ddb8137b35.png]

**LatticeLSTM不足之处**

1、计算性能差，不能batch并行化（原因是每个句子中词的数量不一致）；

2、存在信息损失，只能利用词结尾的信息；

3、可迁移性差，只能使用LSTM；

4、模型复杂度高，句子不能太长

[f7525422542dbba0565383eeb8da1f10.png]: /images/20210923/b05683ef324d4e70810eda8d37924af5.png
[03428f6e52d87ea5e3be0ac981e1e87d.png]: /images/20210923/5db53bea1e1244d984cbf072025b1753.png
[179628f1f1698e30f84d088212cd0f2d.png]: /images/20210923/76f8316a4aa1461d99b99e10b29da03c.png
[f014152ee749b600318da59bd9227f8d.png]: /images/20210923/ef98902ed68d4587a4565bceaf0a8baf.png
[e3e4bc3c7e5babfd6949d5c9ebbce814.png]: /images/20210923/d8515bd586e24b218757c81b8c9c4ccd.png
[4afcf17413869a470e9d9c6a8ec644a2.png]: /images/20210923/529a3b4dda6d4a48833b4d057570f0ac.png
[2c2a97fbfa0cfff17431d86007cd26aa.png]: /images/20210923/2b095d9201b94409a78aafb4c59ae95f.png
[c10f8f03cf0b9adf249d0521d8800a5a.png]: /images/20210923/bdb584b41ce6448aad0f93a348c86c22.png
[6969e9fc27551fb6fe0f71c296254c8e.png]: /images/20210923/8323734e25a4429fa59f8263af330520.png
[51930cfcb13f81d65262e690fa6b6b53.png]: /images/20210923/a0fea3ae98224ec1982526cc19e7fb37.png
[1651e6b4ec814de1ab060156564ca474.png]: /images/20210923/7ff996c84b5548afafa829b27a3c124b.png
[f17476e0e8e705cf7f0661bd4eaa67ea.png]: /images/20210923/d26943aeb20f476fbfe178e6f37de479.png
[62818d9d96240d827b60031b55588361.png]: /images/20210923/b497851a47374d42b183b30f325f8647.png
[1b8702a54836fe7e0d961bdebe44db6a.png]: /images/20210923/51ebd737c0d1489192be1263326a3f99.png
[5ada736ef3f8445088063da5d7dc5f8b.png]: /images/20210923/148f0cfab20344c8a99568a70ed847d8.png
[095d7a7bc12a0144539d421387456999.png]: /images/20210923/e267f0ebec7c49cfab3d5683b1109503.png
[ef1daa41d5995b0e76e74a941d1532f4.png]: /images/20210923/4505acd02945405aa5d12cd0d9cacb3f.png
[f067ef2e4b6dd502bd8845f5511ce7be.png]: /images/20210923/8f8c3bf5f9944bdb901c9a5a6df9fdde.png
[d60b4680b2eca7a3cd58a7c3868cbc29.png]: /images/20210923/292dff57b0a14f00b487662ce116aeee.png
[634f3b3478d1f889956075ddb8137b35.png]: /images/20210923/5d34221e02c64c8cb8b9fad24f74711a.png