Python实现基于词汇信息融合的中文命名实体识别模型

╰+哭是因爲堅強的太久メ 2024-03-24 22:28 18阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88261859  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88261859

## LEBERT-基于词汇信息融合的中文命名实体识别模型 ##

### 项目简介 ###

[LEBERT][] 是将词汇信息引入到BERT模型中的NER模型，  
本项目的目的在于验证[LEBERT][] 模型在中文NER数据集上的表现。分别验证了Bert-Softmax、Bert-Crf、  
LEBert-Softmax、LEBert-Crf在Resume、Ontonote、Msra、Weibo四个中文数据集上的表现。

#### 数据集 ####

本项目将四个数据集统一处理成相同的数据格式，每一行表示一条数据。  
格式如下：

{"text": ["赵", "伟", "先", "生", "，"], "label": ["B-NAME", "I-NAME", "O", "O", "O"]}

### 运行环境 ###

python3.6、transformers3.1.0、torch==1.10.0

运行下面脚本安装依赖环境：

pip install -r requirements.txt

### 项目结构 ###

*  datasets：存放数据
    
     *  resume
     *  msra
     *  weibo
     *  ontonote4
 *  losses:损失函数
 *  metrics:计算NER的评价指标
 *  models:存放自己实现的BERT模型代码
    
     *  crf.py:存放CRF模型实现
     *  lebert.py:LEBER模型实现
     *  ner\_model.py
 *  output:输出目录
 *  pretrain\_model：预训练模型存放位置
 *  processors:数据预处理模型
    
     *  convert\_format.py:将原始数据集，整理成统一的json格式
     *  dataset.py
     *  processor.py:数据处理
     *  trie\_tree.py：字典树实现
     *  vocab.py：字典类
 *  script：脚本存放位置
 *  utils:存放工具类
 *  train.py:训练脚本

### 使用方法 ###

#### Quick Start ####

安装依赖包

pip install -r requirements.txt

运行训练脚本，详见参数说明

bash script/train.sh

### 实验总结 ###

#### 实验细节 ####

所有模型均使用[bert-base-chines][] 的预训练权重。在训练的时候，batch size均为32，  
BERT的原始参数的学习率设置为1e-5，LEBERT和CRF所引入的参数的学习率设置为1e-4。对于Ontonote、Msra数据集训练10个epoch，  
对于Resume和Weibo数据集训练30个epoch。  
原论文的词向量使用的是包含两千万单词的[tencent-ailab-embedding-zh-d200-v0.2.0][] ，  
本项目的词向量使用[tencent-ailab-embedding-zh-d200-v0.2.0-s][tencent-ailab-embedding-zh-d200-v0.2.0] ,其中包含两百万预训练的词向量,维度为200。  
本项目将词向量信息在BERT的第一层之后进行融合，并且每个汉字，最多融合3个词向量。

#### 实验结果 ####

各模型在测试集上的指标：

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>Resume</th> 
   <th>Weibo</th> 
   <th>Msra</th> 
   <th>Ontonote</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BERT-Sotfmax</td> 
   <td>0.9610</td> 
   <td>0.7097</td> 
   <td>0.9542</td> 
   <td>0.8173</td> 
  </tr> 
  <tr> 
   <td>LEBERT+Sotfmax</td> 
   <td><strong>0.9672</strong></td> 
   <td><strong>0.7123</strong></td> 
   <td>0.9536</td> 
   <td><strong>0.825</strong></td> 
  </tr> 
  <tr> 
   <td>BERT+Crf</td> 
   <td>0.9608</td> 
   <td>0.7048</td> 
   <td>0.9548</td> 
   <td>0.8191</td> 
  </tr> 
  <tr> 
   <td>LEBERT+Crf</td> 
   <td>0.9614</td> 
   <td>0.6954</td> 
   <td><strong>0.955</strong></td> 
   <td>0.817</td> 
  </tr> 
 </tbody> 
</table>

各模型在验证集上的指标：

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>Resume</th> 
   <th>Weibo</th> 
   <th>Msra</th> 
   <th>Ontonote</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BERT-Sotfmax</td> 
   <td>0.9593</td> 
   <td>0.6984</td> 
   <td>0.9363</td> 
   <td>0.8031</td> 
  </tr> 
  <tr> 
   <td>LEBERT+Sotfmax</td> 
   <td>0.9601</td> 
   <td>0.7147</td> 
   <td>0.9382</td> 
   <td>0.8038</td> 
  </tr> 
  <tr> 
   <td>BERT+Crf</td> 
   <td>0.9564</td> 
   <td>0.7127</td> 
   <td>0.938</td> 
   <td><strong>0.8078</strong></td> 
  </tr> 
  <tr> 
   <td>LEBERT+Crf</td> 
   <td><strong>0.9638</strong></td> 
   <td><strong>0.7247</strong></td> 
   <td><strong>0.9391</strong></td> 
   <td>0.8021</td> 
  </tr> 
 </tbody> 
</table>

原论文实验效果：  
\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ASa1c55Q-1693183766846)(./image/paper-f1.jpg)\]

#### 训练过程分析 ####

训练过程中，模型在验证集和测试集上的F1得分与loss的变化，可以通过output文件夹下查看，运行如下脚本：

tensorboard --logdir ./output

训练过程中，BERT-Softmax与LEBERT-Softmax在各个测试集上的F1得分的变化曲线如下图：

Resume测试集：  
![在这里插入图片描述][6fc71e599ba74faf84f8103de904cd6e.jpeg_pic_center]  
![在这里插入图片描述][6e01d5dea0fd44ada6f80f70730e7eea.jpeg_pic_center]  
![在这里插入图片描述][43b13c4a08a842928464d15d7f771aaf.jpeg_pic_center]  
![在这里插入图片描述][a31f38be375946f997e89ec1a1f92156.jpeg_pic_center]  
![在这里插入图片描述][6b15193c43b34891bc91c9b9582b0fc6.jpeg_pic_center]  
![在这里插入图片描述][4df20ff288fb4766b1be0a50d4d1735c.jpeg_pic_center]

从上面的实验结果和训练过程分析，做一下简单的总结：

*  在四个数据集上，LEBERT均优于BERT，这得益于词汇信息的引入。
 *  在四个数据集上，LEBERT-Softmax的指标只比BERT-Softmax提升0.5-1.0个点，没有带来特别大的收益（也可能是训练策略、实现细节、词向量质量的原因）。
 *  本项目复现的LEBERT-Softmax模型基本都达到了原论文的水平，并且BERT-Softmax模型在各个测试集上的表现均优于原论文的结果。
 *  相比于Softmax解码方式，CRF解码方式有时候会带来更差的效果（可能是因为训练策略的原因，如学习率太小，有待进一步验证）。

#### 模型权重分享 ####

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>Resume</th> 
   <th>Weibo</th> 
   <th>Msra</th> 
   <th>Ontonote</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BERT-Sotfmax</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>LEBERT+Sotfmax</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>BERT+Crf</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>LEBERT+Crf</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88261859  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88261859

[Link 1]: https://download.csdn.net/download/sheziqiong/88261859
[LEBERT]: https://arxiv.org/abs/2105.07148
[bert-base-chines]: https://huggingface.co/bert-base-chinese
[tencent-ailab-embedding-zh-d200-v0.2.0]: https://ai.tencent.com/ailab/nlp/en/download.html
[6fc71e599ba74faf84f8103de904cd6e.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/bafe0fcc76344062aa4ca68985ef0f25.png
[6e01d5dea0fd44ada6f80f70730e7eea.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/f84cf7771f51441ea682caf67069b9ca.png
[43b13c4a08a842928464d15d7f771aaf.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/17a3b6c0c310437cbff0cb56d1cff4e6.png
[a31f38be375946f997e89ec1a1f92156.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/4e8aa38ba8054a62b2db1f0f92930226.png
[6b15193c43b34891bc91c9b9582b0fc6.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/0230569cd990461b8f48032345f3dfa4.png
[4df20ff288fb4766b1be0a50d4d1735c.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6f684f6a563f467ab47e7e6ccbe841da.png