命名实体识别（NER）中你不知道的事儿

短命女 2023-01-09 15:50 177阅读 0赞

# 总结 #

*  文章来源：CSDN\_LawsonAbs
 *  LawsonAbs的认知与思考，望各位读者审慎阅读。
 *  持续更新~

--------------------

# 1 未出现的词 #

很多词是没有出现 `vocab.txt` 中的。 比如在 `bert-base-cased` 这个模型中，就无法看到`entrench` 这个单词。  
![在这里插入图片描述][2021012210314570.png]  
也就是说其实很多单词都是没有出现在 bert系列的vocab中，所以这个单词就会被拆解成好几份，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]  
可是`entrench` 是个常见的单词啊，为啥连这个单词都会分解呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

针对这个问题，自然的想法就是：随着tokens的增多，那么准确预测出命名实体的难度就会上升。所以有一个角度是：怎么控制这些tokens 被分的过细，从而提高命名实体的效果。

针对上面这个问题，于是引发的问题就是：  
本来的数据是 word -> label 的一一映射（此时有`len(word)=len(label)`）。但是可能因为上述的这种原因，就会导致word最后被分割成了多个token，也就是 `len(tokens) != len(label)`，那么这个时候就应该扩充label的值，使得二者是一一对应的。

# 2 标签可视化 #

在训练好模型之后，如果想看最后的模型在给出测试数据下会输出什么标签，这时候大概率会使用argmax()函数，因为这个函数会找出所有标签列表中概率最大的值出来。我们就将这个值作为标签输出。而在训练模型时，我们是不需要使用这个`argmax()`函数的，如果这么做，就是个大错误。例如下面这段代码：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]

上图中的红框部分出现在 `forward()`函数部分则是个极大的谬误！

# 3 Dataset #

有的时候因为train 数据和 eval 数据的不同，可能需要不同的 Dataset，但是我还是觉得将eval 的dataset 设置成和train 时一样即可，这样就可以避免因为数据类型不同导致的类的增加。

[2021012210314570.png]: /images/20221119/05dc35ddb64346789743c591102b6f7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210122103329700.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210122104246795.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210314093758849.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70