【NLP】基于枚举实现中文分词

深藏阁楼爱情的钟 2022-11-20 11:58 221阅读 0赞

## 基于枚举实现中文分词 ##

### 目录 ###

*   *  基于枚举实现中文分词
     *   *  一、读取中文词库
         *  二、为语料库的词进行概率设置（这里只模拟了部分词的概率）
         *  三、对获取的文本进行分词，这里使用里递归的分词方法
         *  四、根据分词结果得到概率最大的结果
         *  五、完整实现
         *  六、缺点

> 在nlp领域分词方法有例如max matching、incorporate semantic等，本篇文章主要实现基于incorporate semantic根据词的概率来得到分词结果，读者需准备好自己的中文词库

### 一、读取中文词库 ###

import pandas as pd
    path = r'中文词库.xlsx'
    dic = pd.read_excel(path,header=None)
    dic_words = set(dic[0].tolist())    # 保存词典库中读取的单词

### 二、为语料库的词进行概率设置（这里只模拟了部分词的概率） ###

word_prob = { "做作":0.78,"做针线":0.08,"做戏":0.005,"做文章":0.005,"你":0.06,"真":0.003,"做":0.04,"作":0.03}
    print(sum(word_prob.values()))

### 三、对获取的文本进行分词，这里使用里递归的分词方法 ###

> instance：str = “北京” —> result：list = \[\[‘北’, ‘京’\], \[‘北京’\]\]

def word_break(s, dic):
        ''' 分词 :param s: 原始文本 :param dic: 词典库中读取的所有词 :return: list型的分词结果 '''
        def sentences(cur):
            result=[]
            if cur <len(s):
                for next in range(cur+1, len(s)+1):
                    if s[cur:next] in dic:
                        result = result+[s[cur:next]+(tail and','+tail) for tail in sentences(next)]#因为递归所有cur会加1
            else:
                return ['']
            return result
    
        list_new = []
        for line in sentences(0):
            line = line.split(",")
            list_new.append(line)
        return list_new

### 四、根据分词结果得到概率最大的结果 ###

def get_probability_reult(input_str):
        ''' 概率比较 :param input_str: 原始文本 :return: 概率 '''
        segments = word_break(input_str,  dic_words)  # 存储所有分词的结果
        print(f'基于word_prob的所有的分词结果：{segments}')
    
        #循环所有的分词结果，并计算出概率，概率高的即为分词结果
        best_segment = []
        best_score = -math.inf  # best_score初始值等于负无穷小
        for seg in segments:
            score = 0
            for w in seg:
                if w in word_prob.keys():
                    score += word_prob[w]
                else:
                	#若该词未出现在word_prob，则分数加0.000001
                    score += 0.000001
            if score > best_score:
                best_score = score
                best_segment = seg
                print(f'分词结果：{best_segment},得分：{best_score}')
        return best_segment

### 五、完整实现 ###

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Author : linjie
    # 基于枚举的分词
    
    import pandas as pd
    import math
    path = r'中文词库.xlsx'
    
    
    ''' 思路： 1、读取词库 2、为词库进行概率设置 3、对原始文本进行分词，获得所有分词结果 4、根据分词结果得到概率最大的结果 '''
    
    ''' step1：读取语料库 '''
    dic = pd.read_excel(path,header=None)
    dic_words = set(dic[0].tolist())    # 保存词典库中读取的单词
    
    
    
    ''' step2：为语料库的词进行概率设置（这里只模拟了部分词的概率） '''
    word_prob = { "做作":0.78,"做针线":0.08,"做戏":0.005,"做文章":0.005,"你":0.06,"真":0.003,"做":0.04,"作":0.03}
    print(sum(word_prob.values()))
    
    
    ''' step3：对获取的文本进行分词，这里使用里递归的分词方法 instance：str = "北京" ---> result：list = [['北', '京'], ['北京']] '''
    # 利用递归计算所有可行的分词之后的结果
    def word_break(s, dic):
        ''' 分词 :param s: 原始文本 :param dic: 词典库中读取的所有词 :return: list型的分词结果 '''
        def sentences(cur):
            result=[]
            if cur <len(s):
                for next in range(cur+1, len(s)+1):
                    if s[cur:next] in dic:
                        result = result+[s[cur:next]+(tail and','+tail) for tail in sentences(next)]#因为递归所有cur会加1
            else:
                return ['']
            return result
    
        list_new = []
        for line in sentences(0):
            line = line.split(",")
            list_new.append(line)
        return list_new
    
    
    ''' step4:根据分词结果得到概率最大的结果 '''
    def get_probability_reult(input_str):
        ''' 概率比较 :param input_str: 原始文本 :return: 概率 '''
        segments = word_break(input_str,  dic_words)  # 存储所有分词的结果
        print(f'基于word_prob的所有的分词结果：{segments}')
    
        #循环所有的分词结果，并计算出概率，概率高的即为分词结果
        best_segment = []
        best_score = -math.inf  # best_score初始值等于负无穷小
        for seg in segments:
            score = 0
            for w in seg:
                if w in word_prob.keys():
                    score += word_prob[w]
                else:
                    score += 0.000001
            if score > best_score:
                best_score = score
                best_segment = seg
                print(f'分词结果：{best_segment},得分：{best_score}')
        return best_segment
    
    
    if __name__ == '__main__':
        print(get_probability_reult("你真做作"))

运行结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center]

### 六、缺点 ###

基于枚举的实现缺点在于效率问题，它需要生成所有的分词可能，一旦原始文本很长会消耗很长时间，可利用 viterb 算法解决此问题。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/f882b7ade8494f3db5a8cd2e5a57b2e1.png