Python学习笔记--Jieba库文件词频统计

一时失言乱红尘 2021-09-28 23:06 427阅读 0赞

今天介绍一下Python中第三方库-Jieba库的使用

有时候我们是需要对文本中的单词的频率进行统计的

### 常规的做法 ###

#单词出现频率的统计
    #将文本进行处理
    def getText():
        txt = open("text.txt","r").read() # 打开并读取所有的文件
        txt = txt.lower() # 将文本中的所有字母都改成小写
        for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_’‘{|}~': # 将文本中的特殊符号都用空格替代
            txt = txt.replace(ch," ")
        return txt # 返回文章的所有内容
    hamletTxt=getText()
    words = hamletTxt.split() #默认采用空格将字符串中的信息进行分隔
    #定义字典类型
    counts = {} # 新建立一个空的字典
    for word in words: # 循环遍历所有的单词
        counts[word] = counts.get(word,0)+1 # 返回word这个键对应的值，只要是出现的单词都默认值为 1，下次如果再遇到就加一
    items = list(counts.items()) # 将字典中的值都放入列表中，这个时候应该是一个元组类型的列表
    #对列表大到小排序
    items.sort(key=lambda x:x[1],reverse=True) # lambda关键字表示按照后面指定的方式进行排序，这里表示元组中的第二个元素，也就是单词出现的次数
    for i in range(20): # 循环的打印出出现频率最高的前20个单词
        word,count = items[i]
        print("{0:<10}{1:>5}".format(word,count))#word宽度为10字符在左边，count宽度为5字符在右边

从上面的代码可以看出文件的处理其实并不算是很复杂，但是细心的同学或许能够发现这样的做法是不能分割长句的，例如“中国特色社会主义国家”，如果这种方式提取出来的，只能是这一整句话，但是我们所熟悉的词组，却不是这么定义的，我们期望的是计算机能够给我分割出：“中国”、“特色”、“社会主义”、“国家”等词汇，所以有没有更简便、更高效、更准确的词组处理方式呢，这个时候就要用到Python优秀的第三方库——Jieba库

首先我们看看jieba库的简介和安装方式

### 简介及安装方式 ###

该页面地址：[Jieba简介][Jieba]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70][]

然后然后我们来看看jieba库的使用

### Jieba库使用 ###

#引用jieba库
    import jieba 
    txt = open("threekingdoms.txt","r",encoding="utf-8").read() #用utf-8的编码形式读取txt文件，因为jieba是一个中文分词库
    words = jieba.lcut(txt) #用jieba库的精确模式将txt装换成列表的格式
    counts = {} # 建立一个空的字典
    for word in words:
        if len(word) == 1: #剔除掉分词后的特殊的标点符号、一个字等无效的结果
            continue
        else:
        counts[word] = counts.get(word,0)+1 #用字典方式记下并存放这些词和他们出现的频率
    items = list(counts.items())#将字典类型转化成列表类型
    items.sort(key=lambda x:x[1], reverse=True)#对列表大到小排序
    for i in range(15):#打印并输出
        word,count = items[i]
        print("{0:<5}{1:>5}".format(word,count))

很显然，运用了jieba库之后我们处理就变得很简单了，我们只需要对分割的词组进行筛选处理即可

### Jieba库应用-三国人物出场次数统计 ###

import jieba #引用jieba库
    txt = open("threekingdoms.txt","r",encoding="utf-8").read() #用utf-8的编码形式读取txt文件
    excludes = {"将军","却说","荆州","二人","不可","不能","如此","商议","如何","军士","左右","军马","主公"\
                ,"引兵","次日","大喜","天下","东吴","于是","今日","不敢","魏兵","陛下","一人","都督","人马","不知"\
        } # 删掉不必要的词
    words = jieba.lcut(txt) #用jieba库的精确模式将txt装换成列表的格式
    counts = {} # 建立一个空的字典
    for word in words:
        if len(word) == 1: #单个的词不计数
            continue
        elif word == "诸葛亮" or word == "孔明曰": #将含义相同的词语进行规范化
            rword = "孔明"
        elif word == "关公" or word == "云长":
            rword = "关羽"
        elif word == "玄德" or word == "玄德曰":
            rword = "刘备"
        elif word == "孟德" or word == "丞相":
            rword = "曹操"
        else:
            rword = word
            counts[rword] = counts.get(rword,0)+1 #出现一次就+1
    for word in excludes: # 将不必要的词从记录中删除
        del counts[word]
    items = list(counts.items()) #将counts的键值对返回并生成列表
    items.sort(key=lambda x:x[1], reverse=True)#将键值对列表进行由大到小排序
    for i in range(15):
        word,count = items[i]
        print("{0:<5}{1:>5}".format(word,count))

有兴趣的同学可以深入的学习Jieba库的使用，他真的是一个很好用的中文分词库。

[Jieba]: https://pypi.org/project/jieba/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70]: /images/20210920/14ce1159529645f5ad0a0676ef5651a6.png