论文阅读《SPANNER: Named Entity Re-/Recognition as Span Prediction》

布满荆棘的人生 2022-10-04 15:51 50阅读 0赞

# 前言 #

*  文章来源：LawsonAbs（CSDN）
 *  望各位读者审慎阅读
 *  这篇文章作者自己引用了自己的5篇工作。。。
 *  论文[地址][Link 1]
 *  建议阅读：★★★☆☆

--------------------

# 0. 动机 #

NER是NLP中一个传统的任务，在神经网络和深度学习中，常见解决NER的方法主要有两种，一是通过序列标注模型（下面用`SeqLabel`替代）；一是通过span预测模型（后面用`SpanNER`替代）。前者是经典方法，后者是近年来sota模型中常会使用的招数。基于这个大背景，本文进行了如下几点详细的分析：

*  为什么span预测得到的效果要好于 SeqLabel 模型？  
    （那么就不能单单的比较实验效果，而要基于实验效果，深层次分析）
 *  span预测的优劣势是什么？  
    （大概率是不是基于span预测的特点来分析？）
 *  揭示span预测模型同时也可以作为一种system combiner，结合不同的预测系统输出，re-recognize NER。【这个应该是本论文重点的一个 `contribution`】

本文主要通过实验的方式，来揭示基于 SpanNER模型的方方面面。  
NER识别系统以及system combiners会有更好的效果

# 2.贡献 #

谈谈本文的贡献：

*  将NER识别的过程和ensemble learning的过程合二为一，即只用一个SpanNER 的模型来做。相对于传统的k折交叉验证再取值分析  
    ，这个ensemble learning 是一个端到端的过程。同时传统的ensemble 方法比较费时费力，这里的SpanNER就相对简单。
 *  （首次？）将不同模型（这里就是SeqLabel 和 SpanNER 模型）的结果ensemble到一起。

## 2.1 SpanNER 的作用 ##

这里用一幅图来解释`SpanNER`的两个优势，如作者文中所述，分别是

*  基本的NER的功能（SpanNER 和 SeqLab 都可以做为NER模型）；
 *  延伸的combine 不同NER系统的功能（下图两个红色块，同时顶部的一个是SpanNER）。感觉就是`SpanNER`可以作为一种`ensemble learning` 的方法。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]

# 3.实验 #

## 3.1 Exp-1 ##

### 3.1.1 想证明什么？ ###

哪些参数配置会影响SpanNER模型的效果？选取的参数分别是：

*  `boundary embedding`
 *  `boundary embedding + span length embedding`
 *  `boundary embedding + heuristic decoding`
 *  `boundary embedding + span length embedding + heuristic decoding`

实验结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]  
但是上面这个实验结果的可视化效果不好，我们很难直接从中找到具备`different structural biases` 的NER模型（这里也就是SeqLab模型和SpanNER模型）的相对优势，于是便有了下面这个实验。

## 3.2 Exp-2 ##

*  step1. 首先定义四中特征函数：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]  
    其中entity  e e e代表的是sentence  S S S。  e C o n eCon eCon代表的则是`entity label consistency`，它衡量的是：指定的实体和一个特定的label的一致度。  
    为啥要定义这四个属性函数？关键问题是这四个属性会作为表格的横栏出现在table 2中。是什么个意思呢？
 *  step 2. 然后将实体的数据根据其长度，分成四个部分：extra-small，small， large, extra-large。得到的实验结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]
 *  实验数据集是 CoNLL-2003 (EN)
 *

主要是看右下角这张图。

## 3.3 Exp-3 ##

当前有很多研究NER的模型，但是在NER的ensemble learning 研究却远远滞后。由上面一个实验，可以得知，SpanNER 和 SeqLabe 模型可能存在一个complementary 的情况，于是作者就做出如下猜想：

> The basic idea is that each span prediction NER (SpanNER) system itself can also conceptualize as a system combiner to re-recognize named entities from different system’s output.

这对应的就是上面那个**section 2.1** 中的图。接着，我们可以看一下SpanNER 作为system combiner 的过程（但是我很奇怪，SpanNER 并没有体现出system combiner 的过程？），其图示如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]  
这里最后就是直接的通过 `Max Score` 来获取NER的结果，也没有用`SpanNER` 来做啊？

下面就需要研究一下 SpanNER 模型 作为 system combiner 的实验效果。

## 3.4 Exp-4 ##

常见的 system combiner 有很多种，比如投票机；随机森林等，本文就额外使用六种combine的机制去和SpanNER 比较。其六种分别是：

*  Majority Voting
 *  Weighted voting base on overall F1-score
 *  Weighted voting base on class F1-score
 *  Support vector machine
 *  Radom Forest
 *  Extreme Gradient Boosting

前三者是属于投票机制，后三者属于`stack-based approaches`得到的结果如下：

## 3.5 Exp-5 ##

SpanNER 在其他数据集表现如何？实验展示了结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]

## 3.6 Exp-6 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]

分析SpanNER 为什么强？在哪些地方强？

# 4.结论 #

得到的结论包括如下：

*  SEQLAB-based models are better at dealing with those entities that are long and with low label consistency. SPANNER systems do better in sentences with more Out-of-Vocabulary (OOV) words and entities with medium length.
 *

# 5.问题 #

## 5.1 我对论文中的`architectual bias`不理解，咨询作者，我提出的问题以及她给出的回复是这样的： ##

![在这里插入图片描述][20210711205607609.png]  
![在这里插入图片描述][20210711205626559.png]  
下面给出作者的一个回复[文档][Link 2]中的内容：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]  
我个人理解就是`architectual bias`  ≈ \\approx ≈ `architectual difference`。就是模型的不同带来的处理NER时的特点嘛。

## 5.2 Introduction中的complementary advantages 是什么意思？ ##

害怕理解不到位，同样咨询了一下原作者：  
![在这里插入图片描述][20210711210033672.png]

# 6.参考资料 #

[Link 1]: https://arxiv.org/pdf/2106.00641.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221004/cc544dad2cda4f9eb1b1f9324a941c31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221004/78d68ff053b9495ea956938ab55121a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: /images/20221004/d24f64b23f4146b480df4b2b7d4ef5ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: /images/20221004/d014ea73922e472dadf2ad426c66a057.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]: /images/20221004/616efa62dfd54b66ab9afabd6d04ab51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]: /images/20221004/cb43f24be1f646d09c30e32686e14bd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]: /images/20221004/2426de7578e341ecaa27049e5697e249.png
[20210711205607609.png]: /images/20221004/9db0bca5291744b48fbb1d45abbdd480.png
[20210711205626559.png]: /images/20221004/b8df092f244c4f0fa73a279ec025edcb.png
[Link 2]: https://github.com/neubig/lowresource-nlp-bootcamp-2020/blob/master/slides/05-liu-representations.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]: /images/20221004/741f162fcae4498296478d820d713e04.png
[20210711210033672.png]: /images/20221004/c4a1ec1370934e78b16762f52fd1f672.png