自然语言处理-应用场景-聊天机器人(二)：Seq2Seq【CHAT/闲聊机器人】--＞ BeamSearch算法预测【替代 “维特比算法” 预测、替代 “贪心算法” 预测】

怼烎@ 2023-10-04 08:54 9阅读 0赞

在项目准备阶段我们知道，用户说了一句话后，会判断其意图，如果是想进行闲聊，那么就会调用闲聊模型返回结果。

目前市面上的常见闲聊机器人有`微软小冰`这种类型的模型，很久之前还有`小黄鸡`这种体验更差的模型

常见的闲聊模型都是一种seq2seq的结构。

## 一、准备训练数据 ##

`单轮次`的聊天数据非常不好获取，所以这里我们从github上使用一些开放的数据集来训练我们的闲聊模型

数据地址：https://github.com/codemayq/chaotbot\_corpus\_Chinese

主要的数据有两个：

1.  小黄鸡的聊天语料：噪声很大  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]
2.  微博的标题和评论：质量相对较高  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 2]

## 二、数据的处理和保存 ##

由于数据中存到大量的噪声，可以对其进行基础的处理，然后分别把input和target使用两个文件保存，即input.txt文件中的第N行为“问”，target.txt文件中的第N行为“答”

*  会把“以单个字分词后的句子”作为特征值、目标值（存放在input\_word.txt、target\_word.txt），
 *  把“以词语分词后的句子”作为特征值、目标值（存放在input.txt、target.txt）

### 1、小黄鸡的语料的处理 ###

def format_xiaohuangji_corpus(word=False):
        """处理小黄鸡的语料"""
        if word:
            corpus_path = "./chatbot/corpus/xiaohuangji50w_nofenci.conv"
            input_path = "./chatbot/corpus/input_word.txt"
            output_path = "./chatbot/corpus/output_word.txt"
        else:
    
            corpus_path = "./chatbot/corpus/xiaohuangji50w_nofenci.conv"
            input_path = "./chatbot/corpus/input.txt"
            output_path = "./chatbot/corpus/output.txt"
    
        f_input = open(input_path,"a")
        f_output = open(output_path,"a")
        pair = []
        for line in tqdm(open(corpus_path),ascii=True):
            if line.strip() == "E":
                if not pair:
                    continue
                else:
                    assert len(pair) == 2,"长度必须是2"
                    if len(pair[0].strip())>=1 and len(pair[1].strip())>=1:
                        f_input.write(pair[0]+"\n")
                        f_output.write(pair[1]+"\n")
                    pair = []
            elif line.startswith("M"):
                line = line[1:]
                if word:
                    pair.append(" ".join(list(line.strip())))
                else:
                    pair.append(" ".join(jieba_cut(line.strip())))

详细版：

"""
    处理闲聊机器人的语料
    """
    import re
    from utils import cut
    from tqdm import tqdm
    
    def clean_line(line):
        """处理句子中的标点符号"""
        line = re.sub("\^.*?\^","\^***\^",line)
        line = re.sub("\(.*?\)","\(***\)",line)
    
        result = []  #【【】，【】，[word,True,False],[word,True]】
        temp =""
        for word in line:
            if word.isalpha() or word.isdigit():
                if len(temp)>0:
                    result.append([temp,True])
                    temp = "" #如果temp里面只有一个字符
                result.append([word,False])
            else:
                temp += word
    
        if len(temp) > 0:
            result.append([temp, True])
    
        #把result中第二个位置为True的进行替换
        if result[0][-1]:
            result = result[1:]
        #经过上一步后，有可能为空列表
        if len(result)>0:
            if result[-1][-1]:
                result = result[:-1]+[["。",False]]
    
        final_result = []
        for i in result:
            if i[-1]: #为标点的情况
                if "!" in i[0] or "！" in i[0]:
                    final_result.append(["！",False])
                elif "…" in i[0]:
                    final_result.append(["…", False])
                else:
                    final_result.append(["，",False])
    
            else:
                final_result.append(i)
        return "".join([i[0] for i in final_result])
    
    
    def clean_group(group):
        """
        清理group中的输出
        :param group: [q,a]
        :return: [q,a]/bool
        """
        #判断句子是否为纯标点英文数字,或者是其他的语言--》判断一句话中是否有中文
        if not re.findall("[\u4e00-\u9fa5]",group[0]):
            return False
        if not re.findall("[\u4e00-\u9fa5]",group[1]):
            return False
    
        #问题中包含`笑话`两个字的
        if re.findall("笑话|糗百|运势|运程",group[0]):
            return False
    
        #处理连续的多个标点
        group[0] = clean_line(group[0])
        group[1] = clean_line(group[1])
    
        #小黄鸡，小通
        group[0] = re.sub("小通|鸡鸡","小智",group[0]).strip()
        group[1] = re.sub("小通|鸡鸡","小智",group[1]).strip()
    
        #判断句子是否为空
        if len(group[0])<1 or len(group[1])<1:
            return False
        return group
    
    def save_group(group,fq,fa,by_word):
        """保存问答对"""
    
        fq.write(" ".join(cut(group[0],by_word=by_word))+"\n")
        fa.write(" ".join(cut(group[1],by_word=by_word))+"\n")
    
    
    def process_xiaohuangji(by_word,fq,fa):
        data_path = "./corpus/classify/小黄鸡未分词.conv"
    
        groups = []  #[[q,a],[q,a],[q,a]]
        group = []
        bar = tqdm(open(data_path).readlines(),desc="小黄鸡数据读取...")
        for line in bar:
            if line.startswith("E"):
                if group:
                    groups.append(group)
                    group = []
            elif line.startswith("M"):
                group.append(line[1:].strip())
        if group:
            groups.append(group)
    
        for group in tqdm(groups,desc="小黄鸡数据保存..."):  #一个group就是一个问答对
            group = clean_group(group)
            if not group:
                continue
            # print("q:",group[0])
            # print("a:",group[1])
            # print("*"*30)
            save_group(group,fq,fa,by_word)
    
    def start_process(by_word=True):
        fq = open("./corpus/chatbot/input.txt","a")	# 特征值保存路径
        fa = open("./corpus/chatbot/target.txt","a") # 目标值保存路径
        process_xiaohuangji(by_word,fq,fa)
    
    if __name__=="__main__":
    	start_process()

### 2、微博语料的处理 ###

def format_weibo(word=False):
        """
        微博数据存在一些噪声，未处理
        :return:
        """
        if word:
            origin_input = "./chatbot/corpus/stc_weibo_train_post"
            input_path = "./chatbot/corpus/input_word.txt"
    
            origin_output = "./chatbot/corpus/stc_weibo_train_response"
            output_path = "./chatbot/corpus/output_word.txt"
    
        else:
            origin_input = "./chatbot/corpus/stc_weibo_train_post"
            input_path = "./chatbot/corpus/input.txt"
    
            origin_output = "./chatbot/corpus/stc_weibo_train_response"
            output_path = "./chatbot/corpus/output.txt"
    
        f_input = open(input_path,"a")
        f_output = open(output_path, "a")
        with open(origin_input) as in_o,open(origin_output) as out_o:
            for _in,_out in tqdm(zip(in_o,out_o),ascii=True):
                _in = _in.strip()
                _out = _out.strip()
    
                if _in.endswith("）") or _in.endswith("」") or _in.endswith(")"):
                    _in = re.sub("（.*）|「.*?」|\(.*?\)"," ",_in)
                _in = re.sub("我在.*?alink|alink|（.*?\d+x\d+.*?）|#|】|【|-+|_+|via.*?：*.*"," ",_in)
    
                _in = re.sub("\s+"," ",_in)
                if len(_in)<

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20210319163408374.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20210319163433742.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20210319163444944.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center