利用特定领域模型训练Bert模型

电玩女神 2022-11-16 15:11 334阅读 0赞

### 目录 ###

*  前言
 *  一、预训练模型思路？
 *  二、数据处理
 *   *  1.MLM任务
     *  2.SOP任务
     *  3.模型搭建
 *  总结

--------------------

# 前言 #

最近刚完成医疗电子病历模型的预训练，经过测试效果还不错，相比于原生Bert在序列标注任务和文本分类任务中提升了大约2个点，让小编也理解了[Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks, ACL2020][Don_t Stop Pretraining_ Adapt Language Models to Domains and Tasks_ ACL2020]的真谛，真的是这样的！！

--------------------

# 一、预训练模型思路？ #

对于预训练模型，我们通常想到的是Bert，Albert，Robeta等，这些预训练模型一次又一次的对各种任务SOTA，但在实际的运用场景里面各种翻车(不要问我怎么知道的)。  
其实，对于上述的预训练模型，本人的理解是一个大型的迁移学习模型，把在通用数据上训练得到的模型迁移到一些特定的任务上，相比与LSTM或CNN都会有不错的效果，但也不是绝对的哈。  
虽然预训练模型在特定任务上有不错的效果，但没有人会满足啊，除非效果为100%，这就衍生出了利用特定领域数据进行预训练，这种方法往往都能够在相应的领域有一些提升。

通常利用特定领域数据进行预训练的思路有两个：

> (1). 直接利用开源的预训练模型代码，换成自己的数据进行预训练  
> (2). 加载已有的预训练模型参数，在此基础上继续训练

对于这两种方法呢，前者需要大规模的相关领域数据，而且需要经过很长时间的训练才能得到，当然，这需要你拥有相应的硬件设备。后者则是利用相关领域的数据来直接进行预训练，当然，需要换一下任务，也就Mask Language Model任务，这也需要相应的硬件。。。个人觉得如果你不差时间，不差钱，还不差数据，可以使用前者进行训练，这样可以使得模型的领域契合度更高。如果像小编一样(没钱，没时间，没数据)，建议使用后者的方式进行预训练。。

# 二、数据处理 #

## 1.MLM任务 ##

要想进行预训练，首先就得对数据进行处理，数据处理部分主要分为两大块：(1)对文本中的15%的词语进行随机MASK，在这15%中的80%利用\[MASK\]标签进行遮罩，另外10%选取词表中的词语进行随机替换，最后10%保持不变，这也是Bert处理数据的基本流程。在这里小编使用的是Whole MASK，也就是全词遮罩，具体步骤如下：

> (1) 读取文本数据，数据格式和Bert预训练的一样  
> (2) 对文本进行分词，分词工具自选(jieba, LTP等)  
> (3) 分好词的数据存在一个字典中  
> (4) 把文本转换为id，并且添加特殊标记\[CLS\]，\[SEP\]，\[UNK\]，\[PAD\]等  
> (5) 遍历每个句子，然后用random.random()随机产生数字，判断数字与MASK比例的大小来进行MASK，如果MASK了一个词语中的某个字，把整个词语也进行MASK

最终得到的MASK后的句子：

> Original\_Input: 使 用 语 言 模 型 来 预 测 下 一 个 词 的 概 率 。  
> Sengment\_Input: 使用 语言 模型 来 预测 下 一 个 词 的 概率 。
> 
> --------------------
> 
> Original\_Bert\_Input: 使 用 语 言 \[MASK\] 型 来 \[MASK\] 测 下 一 个 词 的 \[MASK\] 率 。  
> Whold\_Word\_Bert\_Input: 使用 语言 \[MASK\]\[MASK\] 来 \[MASK\]\[MASK\] 下 一 个 词 的\[MASK\]\[MASK\] 。

全词MASK的部分代码如下(大家谅解一下，只能提供这么点，毕竟签了保密协议的)：

import re
    import jieba
    
    
    def get_new_segment(segment):  # 新增的方法 ####
        seq_cws = jieba.lcut("".join(segment))  # 分词
        seq_cws_dict = {
        x: 1 for x in seq_cws}  # 分词后的词加入到词典dict
        new_segment = []
        i = 0
        while i < len(segment):  # 从句子的第一个字开始处理，知道处理完整个句子
            if len(re.findall('[\u4E00-\u9FA5]', segment[i])) == 0:  # 如果找不到中文的，原文加进去即不用特殊处理。
                new_segment.append(segment[i])
                i += 1
                continue
    
            has_add = False
            for length in range(3, 0, -1):
                if i + length > len(segment):
                    continue
                if ''.join(segment[i:i + length]) in seq_cws_dict:
                    new_segment.append(segment[i])
                    for l in range(1, length):
                        new_segment.append('##' + segment[i + l])
                    i += length
                    has_add = True
                    break
            if not has_add:
                new_segment.append(segment[i])
                i += 1
        # print("get_new_segment.wwm.get_new_segment:",new_segment)
        return new_segment

## 2.SOP任务 ##

本次预训练抛弃了原生Bert的SNP任务，改为albert所使用的SOP任务。使用段落连续性任务。正例，使用从一个文档中连续的两个文本段落；负例，使用从一个文档中连续的两个文本段落，但位置调换了。避免使用原有的NOP任务，原有的任务包含隐含了预测主题这类过于简单的任务。  
这部分的数据处理在进行MASK时顺带处理就行，也就是随机的对句子对的前后顺序进行交换，简单的一批。

> NOP：下一句预测， 正样本=上下相邻的2个句子，负样本=随机2个句子  
> SOP：句子顺序预测，正样本=正常顺序的2个相邻句子，负样本=调换顺序的2个相邻句子  
> NOP任务过于简单，只要模型发现两个句子的主题不一样就行了，所以SOP预测任务能够让模型学习到更多的信息

## 3.模型搭建 ##

模型的搭建主要也是两个：(1)MLM任务模型；(2)SOP任务模型。MLM任务模型搭建主要就是添加一个线性层来对Bert预训练模型产出的sequence\_output进行线性变化，把输出的矩阵变换为\[batch\_size, seq\_len, vocab\_size\]就行，同理就可以知道SOP任务就是一个二分类问题，判断后面的文本是不是和前面的文本连续。

# coding=utf-8
    # @Time:2021/3/2914:58
    # @author: SinGaln
    
    """定义利用Albert来进行继续训练"""
    import torch.nn as nn
    from transformers import AlbertPreTrainedModel, AlbertModel
    from .module import ElectronicMedicalRecordMLM, ElectronicMedicalRecordSOP
    
    # 定义预训练模型
    class ElectronicAlbert(AlbertPreTrainedModel):
        """设置加载Albert的预训练模型"""
        def __init__(self, config, args):
            super(ElectronicAlbert, self).__init__(config)
            self.args = args
            # 初始化vocab_size
            self.vocab_size = config.vocab_size
            # 加载Albert预训练模型
            self.albert = AlbertModel(config=config)
            # 实例化MLM对象
            self.predictions = ElectronicMedicalRecordMLM(config)
            # 实例化SOP对象
            self.sop_classifier = ElectronicMedicalRecordSOP(config, args)
    
        def forward(self, input_ids, attention_mask, token_type_ids,
                    masked_lm_labels=None, sentence_order_label=None):
            # albert模型的输出
            outputs = self.albert(input_ids=input_ids,
                                  attention_mask=attention_mask,
                                  token_type_ids=token_type_ids)
            sequence_output, pooled_output = outputs[:2]
    
            # 计算两个任务的logits
            prediction_scores = self.predictions(sequence_output)
            sop_scores = self.sop_classifier(pooled_output)
    
            #计算loss
            total_loss = None
            # masked_lm_labels
            if masked_lm_labels is not None and sentence_order_label is not None:
                loss_fct = nn.CrossEntropyLoss(ignore_index=-1)
                masked_lm_loss = loss_fct(prediction_scores.view(-1, self.vocab_size), masked_lm_labels.view(-1))
                sentence_order_loss = loss_fct(sop_scores.view(-1, 2), sentence_order_label.view(-1))
                total_loss = masked_lm_loss + sentence_order_loss
                outputs = (total_loss,) + outputs
    
            return outputs, prediction_scores, sop_scores  # (loss), prediction_scores, seq_relationship_score, (hidden_states), (attentions)

到这里其实也就差不多了，再写一个配置文件，写一个训练文件，基本就可以训练了。(不要说不会，去看一下Bert源码，或者现在开源的其他预训练代码就行)

# 总结 #

最后，写一下个人心得吧，其实全套做下来感觉也就那样，不存在什么难不难的，主要看个人下的功夫吧。最大的一个感受就是加深了小编对Bert，AlBert，RoBerta以及Electra这些预训练模型的理解，不要问为什么，自己试试，一切都清楚了。当然，理解最大的还是对于预训练模型来说数据的规模，batch\_size的大小这一切都会对模型的最终效果有影响，感兴趣的可以做一下对比，反正我是懒得做了。

谢谢阅读，有什么问题可以一起讨论学习！！！

[Don_t Stop Pretraining_ Adapt Language Models to Domains and Tasks_ ACL2020]: https://www.aclweb.org/anthology/2020.acl-main.740.pdf