（3）中文分词——Python结巴分词器

野性酷女 2022-07-29 08:50 391阅读 0赞

**结巴分词器介绍：**  
jieba 分词下载地址：[https://pypi.python.org/pypi/jieba][https_pypi.python.org_pypi_jieba]  
特点：  
1、支持三种分词模式：  
精确模式，试图将句子最精确地切开，适合文本分析；  
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；  
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。  
2、支持繁体分词  
3、支持自定义词典  
Algorithm  
1、基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)  
2、采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合  
3、对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法  
分词  
jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2）cut\_all参数用来控制是否采用全模式  
jieba.cut\_for\_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细  
注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode  
jieba.cut以及jieba.cut\_for\_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(…))转化为list  
代码示例( 分词 )

#encoding=utf-8
    import jieba
    
    seg_list = jieba.cut("我来到北京清华大学",cut_all=True)
    print "Full Mode:", "/ ".join(seg_list) #全模式
    
    seg_list = jieba.cut("我来到北京清华大学",cut_all=False)
    print "Default Mode:", "/ ".join(seg_list) #精确模式
    
    seg_list = jieba.cut("他来到了网易杭研大厦") #默认是精确模式
    print ", ".join(seg_list)
    
    seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") #搜索引擎模式
    print ", ".join(seg_list)

Output:  
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学  
【精确模式】: 我/ 来到/ 北京/ 清华大学  
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)  
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

下面我们利用结巴分词器来对文本集中的所有文本进行分词，具体代码如下：

#!/usr/bin/python
    #-*- coding: utf-8 -*-
    
    import sys
    import os
    import jieba
    import re
    reload(sys)
    sys.setdefaultencoding('utf-8')
    
    #对中文文本数据集进行分词
    '''注意: 1、输入的数据集路径必须是基目录/数据集名，数据集下是类别子目录，类别下是文本 2、停用词表被放在了程序的当前目录下 3、停用词表是我自己整理的，可以改用别的，或者不去掉停用词 4、分词结果只包含中文\u4e00-\u9fa5，无其他特殊符合和数字 5、如遇编码问题，请自行百度 '''
    
    #对文本进行分词
    def segment(textpath,savepath):
        global stopwords
        content=open(textpath,'r+').read()#读取文本内容
        writer=open(savepath,'w+')
        #content=content.decode('gb2312','ignore')#将gbk编码转为unicode编码
        #content=content.encode('utf-8','ignore')#将unicode编码转为utf-8编码
        #print content #打印文本内容
        text=jieba.cut(content)#分词,默认是精确分词
        #print "/".join(text)
        for word in text:
            #通过合并所有中文内容得到纯中文内容
            word=''.join(re.findall(u'[\u4e00-\u9fa5]+', word))#去掉不是中文的内容
            word=word.strip()
            if(len(word)!=0 and not stopwords.__contains__(word)):#去掉在停用词表中出现的内容
                #print word
                writer.write(word+"\n")
        writer.flush()
        writer.close()
        print savepath+"保存好了"
    
    #对整个文本集进行分词
    def main(dir_name,tar_name):    
        if(not os.path.exists(tar_name)):
            os.mkdir(tar_name)#不存在则新建目录
        classes=os.listdir(dir_name)#该目录下的子目录，即各个类别
        for c in classes:
            #print c #类别
            label=dir_name+"/"+c
            files=os.listdir(label)#获取目录下的所有文本文件
            tarLabel=tar_name+"/"+c#将文本保存在相应类别的目录下
            if(not os.path.exists(tarLabel)):
                os.mkdir(tarLabel)
            #print files
            for f in files:
                #print f #打印文件名
                textpath=label+"/"+f
                savepath=tarLabel+"/"+f
                segment(textpath,savepath)
    
    dir_name = u"F:\\各种数据集\\复旦语料库\\train"#数据集路径
    tar_name=u"trainSegment"#保存路径
    stopwords = [line.strip() for line in open('cstopword.dic').readlines() ]#读取中文停用词表
    main(dir_name,tar_name)

[https_pypi.python.org_pypi_jieba]: https://pypi.python.org/pypi/jieba