spacy训练模型和更新

落日映苍穹つ 2022-09-06 00:10 226阅读 0赞

### 文章目录 ###

*   *  模型训练
     *  模型更新训练
     *  训练数据格式

## 模型训练 ##

*  初始化模型权重使其变成随机值：调用`nlp.begin_training`方法；
 *  查看当前权重的表现：调用`nlp.update`方法
 *  比较预测结果和真实的标签；
 *  计算如何调整权重来改善预测结果；
 *  微调模型权重；
 *  重复上述步骤；

**循环训练：**

for i in range(10):
    	random.shuffle(TRAINING_DATA)
    	for batch in spacy.util.minibatch(TRAINING_DATA):
    	texts = [text for text, annoation in batch]
    	annotations = [annotation for text, annotation in batch]
    	nlp.update(texts, annotations)
    nlp.to_disk(path_to_model)

**示例：**

#导入所需库 
    #参考网址：https://www.cnblogs.com/Ukiii/p/14709696.html
    import spacy
    from pathlib import Path
    from spacy.util import minibatch, compounding
    import random
    from spacy.training import Example
    import time
     
    import json
    
    ## 加载json文件并处理成list，后续打乱预料插入预料
    with open("./data/pingpai.json",'r') as load_f:
        load_dict = json.load(load_f)
        print(type(load_dict))
        print(len(load_dict))
    
    TRAIN_DATA = []
    
    for it in load_dict :
        pingpai =  it.get("pingpai").strip()
        TRAIN_DATA.append(pingpai )
    
    model_arr = [
    "{}笔记本电脑价格偏高", 
    "我喜欢{}公司的笔记本电脑，非常棒！", "谁买了{}笔记本电脑，性能怎么样",
    "{}交换机的维修费很高", 
    "{}是一个非常高端的品牌", 
    "{}新推出的产品，非常棒，我很喜欢",
    "{}的电脑开不了机了，怎么办", 
    "{}厂商发布的产品很好",
     "{}的打印机质量不错", 
    "{}的路由器信号很好",
     "{}的产品经常出出故障",
     "{}召开了发布会",
     "{}的硬盘转速很快"
    ]
    
    output_dir ="./model"
    
    nlp = spacy.blank('zh') 
    ner = nlp.create_pipe('ner')
    nlp.add_pipe('ner', last=True)
    
    n_iter=100
    
    # add labels
    ner.add_label("ORG")
    
    # 仅训练我们标注的标签，假如没有则会对所有的标签训练，
    #建议不要对下载的spacy的模型进行训练可能导致下载的语言模型出错，训练一个空白语言模型就好
    other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'ner']
    with nlp.disable_pipes(*other_pipes): 
    
            ##模型初始化
      optimizer = nlp.begin_training()  
      for itn in range(n_iter):
    
    ##训练数据每次迭代打乱顺序
          random.shuffle(TRAIN_DATA)
    ##定义损失函数
          losses = {}
          for  text in TRAIN_DATA:
     ##对数据进行整理成新模型需要的数据
              annotations = {"entities": []}
              random_int = random.randint(0, len(model_arr)-1)
              index = model_arr[random_int].index("{}")
              length = len(text)
              replace_text = model_arr[random_int].replace("{}", text)
              annotations.get("entities").append((index, index + length, "ORG"))
              example = Example.from_dict(nlp.make_doc(replace_text), annotations)   
              print("example:",example)
              nlp.update([example], drop=0.5,  sgd=optimizer,  losses=losses)
          print(losses)
    
        # 保存模型
    nlp.to_disk(output_dir)
    print time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) 
    print("Saved model to", output_dir)

## 模型更新训练 ##

*  加载模型权重使其变成随机值：调用`nlp.resume_training()`方法；
 *  查看当前权重的表现：调用`nlp.update`方法
 *  比较预测结果和真实的标签；
 *  计算如何调整权重来改善预测结果；
 *  微调模型权重；
 *  重复上述步骤；

**示例：**

#导入所需库 
    #参考网址：https://www.cnblogs.com/Ukiii/p/14709696.html
    import spacy
    from pathlib import Path
    from spacy.util import minibatch, compounding
    import random
    from spacy.training import Example
    
    TRAIN_DATA = [
        ('谁是Shaka Khan?', {
            'entities': [(2, 12, 'PERSON')]  
            ###实体标注的索引从0开始17是最后一字符的索引+1
        }),
        ('I like London and Berlin.', {
            'entities': [(6, 13, 'LOC'), (17, 24, 'LOC')]
        }),
    ('我的华为p30开不了机怎么办', {
            'entities': [(4, 7, 'TYPE')]
        }),
    ('p30', {
            'entities': [(0, 3, 'TYPE')]
        }),
    ('华但是一个组织', {
            'entities': [(0, 1, 'ORG')]
        })
    ]
    
    output_dir ="./model"
    
    nlp=spacy.load('zh_core_web_lg')
    ner=nlp.get_pipe("ner")
    n_iter=100
    
    # add labels
    for _, annotations in TRAIN_DATA:
        for ent in annotations.get('entities'):
            ner.add_label(ent[2])
    
    # 仅训练我们标注的标签，假如没有则会对所有的标签训练，
    #建议不要对下载的spacy的模型进行训练可能导致下载的语言模型出错，训练一个空白语言模型就好
    other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'ner']
    with nlp.disable_pipes(*other_pipes): 
    
            ##重新训练模型
      optimizer = nlp.resume_training()
      for itn in range(n_iter):
    
    ##训练数据每次迭代打乱顺序
          random.shuffle(TRAIN_DATA)
    ##定义损失函数
          losses = {}
          for text, annotations in TRAIN_DATA:
     ##对数据进行整理成新模型需要的数据
              example = Example.from_dict(nlp.make_doc(text), annotations)   
              print("example:",example)
              nlp.update([example], drop=0.5,  sgd=optimizer,  losses=losses)
          print(losses)
    
        # 保存模型
    nlp.to_disk(output_dir)
    print("Saved model to", output_dir)
    
    print("-----------test----------")
    
    text="P30开不了机"
    nlp = spacy.load(output_dir)
    print("Loading from", output_dir)
    doc = nlp(text)
    for i in doc.ents:
       print(i.text,i.label_)

## 训练数据格式 ##

TRAINING_DATA = [
    ("...", {"entities": [(0,1, "WEBSITE")]}),
    ("...", {"entities": [(0,1, "PERSON")]})
    ]