Python文本分析 jieba

àì夳堔傛蜴生んèń 2023-01-19 03:27 225阅读 0赞

Python文本分析

1.  jieba.analyse.extract\_tags()提取句子级的关键字
2.  提取关键字
3.  分词介绍
4.  统计中文词频

jieba.analyse.extract\_tags()提取句子级的关键字  
![在这里插入图片描述][resize_m_lfit_w_962_pic_center]

提取关键字  
`jieba.analyse.extract_tags()`提取句子级的关键字

1.  安装jieba

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba

1.  jieba.analyse.extract\_tags()：

jieba.analyse.extract_tags(
        sentence,
        topK=20,
        withWeight=False,
        allowPOS=(),
        withFlag=False,
    )

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>sentence</td> 
   <td>需要提取的字符串，必须是str类型，不能是list</td> 
  </tr> 
  <tr> 
   <td>topK</td> 
   <td>提取前多少个关键字</td> 
  </tr> 
  <tr> 
   <td>withWeight</td> 
   <td>是否返回每个关键词的权重</td> 
  </tr> 
  <tr> 
   <td>allowPOS</td> 
   <td>是允许的提取的词性，默认为allowPOS=‘ns’, ‘n’, ‘vn’, ‘v’，提取地名、名词、动名词、动词</td> 
  </tr> 
 </tbody> 
</table>

举例

import jieba
    import jieba.analyse
    
    sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，\
    包括SQL。熟悉Linux；"
    
    keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=True, allowPOS=('n', 'nr', 'ns'))
    
    for item in keywords:
        print(item[0], item[1])

编程语言 1.426971375275
    在校生 1.3403279777
    硕士 1.1087799663225
    计算机 0.85059805386
    数学 0.826042559475
    专业 0.7741456821725
    学校 0.71152323753
    重点 0.6565789565175

import jieba
    import jieba.analyse
    sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，包括SQL。熟悉Linux；"
    key = ["  ".join(jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=('n', 'nr', 'ns')))]
    print(key)

['编程语言  在校生  硕士  计算机  数学  专业  学校  重点']

分词介绍  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70]  
举例

import jieba
    #你要运行的文件
    import paddle
    paddle.enable_static()
    jieba.enable_paddle()
    strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]
    for str in strs:
        seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
        print("Paddle Mode: " + '/'.join(list(seg_list)))
    
    seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
    print("Full Mode: " + "/ ".join(seg_list))  # 全模式
    
    seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
    print("Default Mode: " + "/ ".join(seg_list))  # 精确模式
    
    seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
    print(", ".join(seg_list))
    
    seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
    print(", ".join(seg_list))

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70 1]

统计中文词频

> 文本来源于计算机二级Python

# -*- coding: utf-8 -*-
    import jieba
    txt = open("三国演义.txt", "r", encoding='utf-8').read()
    #def get_text():
    #    txt = open("1.txt", "r", encoding='UTF-8').read()
    #    txt = txt.lower()
    #    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
    #        txt = txt.replace(ch, " ")      # 将文本中特殊字符替换为空格
    #    return txt
     
    counts = {
        }   
    for word in words:
        if len(word) == 1:    # 单个词语不计算在内
            continue
        else:
            counts[word] = counts.get(word, 0) + 1    
    items = list(counts.items())
    items.sort(key=lambda x: x[1], reverse=True)    
    for i in range(3):
        word, count = items[i]
        print("{0:<5}{1:>5}".format(word, count))

当然也可以用计数器collections.Counter，更为简单

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_30_color_FFFFFF_t_70]

> 到这里就结束了，如果对你有帮助，欢迎点赞关注评论，你的点赞对我很重要，author：北山啦

[resize_m_lfit_w_962_pic_center]: /images/20221021/bbb5858057b549bebc0dcb1ed6ea0253.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70]: /images/20221021/b9baa1fc98cf46a58bd411b0b2a471b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70 1]: /images/20221021/e331cbe04c794d44be34575a85f6c49a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_30_color_FFFFFF_t_70]: /images/20221021/0576a4a0da5d44c1a0346b92661d4deb.png