Python--利用结巴进行分词

水深无声 2022-05-31 03:45 242阅读 0赞

> 本文首发于我的博客：[gongyanli.com][]  
> 我的简书：[https://www.jianshu.com/p/47b89b98fca6][https_www.jianshu.com_p_47b89b98fca6]

前言：本文是一些关于jieba分词的简单操作，把文档进行分词后，然后利用wordcloud输出。

## 一、安装 ##

pip install jieba

## 二、准备数据 ##

依然是维基百科文章保存为txt，地址[https://zh.wikipedia.org/wiki/%E6%AC%A7%E9%98%B3%E4%BF%AE][https_zh.wikipedia.org_wiki_E6_AC_A7_E9_98_B3_E4_BF_AE]  
下载文件[simsun.ttf][]，如果没有这个文件，生成的词云将会是乱码，不是中文。因为wordcloud默认字体是英文，不包含中文编码。

## 三、分词 ##

`import jieba  # 导入jieba
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    
    filename = "ouyangxiu.txt"
    with open(filename) as f:
        mytext = f.read()
        mytext=" ".join(jieba.cut(mytext))  # 进行jieba分词
        wordcloud=WordCloud(font_path="simsun.ttf").generate(mytext) 
        # 中文分词后再生成词云，同时注意指定输出字体simsun.ttf
        plt.imshow(wordcloud,interpolation='bilinear')
        plt.axis("off")
        plt.show()
    # print(mytext)

\`

## 四、出图 ##

![image][]

[gongyanli.com]: http://gongyanli.com/Python-%E5%88%A9%E7%94%A8%E7%BB%93%E5%B7%B4%E8%BF%9B%E8%A1%8C%E5%88%86%E8%AF%8D/
[https_www.jianshu.com_p_47b89b98fca6]: https://www.jianshu.com/p/47b89b98fca6
[https_zh.wikipedia.org_wiki_E6_AC_A7_E9_98_B3_E4_BF_AE]: https://zh.wikipedia.org/wiki/%E6%AC%A7%E9%98%B3%E4%BF%AE
[simsun.ttf]: https://s3-us-west-2.amazonaws.com/notion-static/b869cb0c7f4e4c909a069eaebbd2b7ad/simsun.ttf
[image]: /images/20220531/2d97e4e5d1d64163bb77ed8af3ca6061.png

发表评论取消回复

表情：

评论列表（有 0 条评论，242人围观）

还没有评论，来说两句吧...

相关阅读

相关结巴分词器理解

jieba介绍 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

柔光的暖阳◎/ 2023年07月17日 06:20/ 0 赞/ 15 阅读

相关 assasin浅说结巴分词

上菜! -- coding: utf-8 -- -----------------------------------------------------

傷城~/ 2023年06月27日 03:46/ 0 赞/ 3 阅读

相关结巴分词安装教程

一、pip安装注：pip是python自带的（没有安装过python的同学可以先安装python） 1、pip添加源（已经添加过的请忽

清疚/ 2023年05月28日 12:54/ 0 赞/ 61 阅读

相关 python中文分词工具：结巴分词jieba

http://[blog.csdn.net/pipisorry/article/details/45311229][blog.csdn.net_pipisorry_articl

灰太狼/ 2022年08月05日 12:16/ 0 赞/ 272 阅读

相关（3）中文分词——Python结巴分词器

结巴分词器介绍： jieba 分词下载地址：[https://pypi.python.org/pypi/jieba][https_pypi.python.org_pypi_

野性酷女/ 2022年07月29日 08:50/ 0 赞/ 392 阅读

相关十分钟快速上手结巴分词

一.特点 1、支持三种分词模式精确模式，试图将句子最精确的切开；全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义

我会带着你远行/ 2022年05月31日 12:11/ 0 赞/ 245 阅读

相关 Python--利用结巴进行分词

> 本文首发于我的博客：[gongyanli.com][] > 我的简书：[https://www.jianshu.com/p/47b89b98fca6][https_ww

水深无声/ 2022年05月31日 03:45/ 0 赞/ 243 阅读

相关结巴中文分词介绍

Python中分分词工具很多，包括盘古分词、Yaha分词、Jieba分词、清华THULAC等。它们的基本用法都大同小异，这里先了解一下结巴分词。一、安装 pi

太过爱你忘了你带给我的痛/ 2022年05月24日 08:38/ 0 赞/ 368 阅读

相关 Python学习笔记——jieba “结巴”中文分词

jieba 是一款号称最好用的Python中文分词组件，分词效果非常棒。支持三种分词模式，代码对 Python 2/3 均兼容，可以用于某些项目的数据预处理。官方GitH

梦里梦外;/ 2022年03月17日 01:36/ 0 赞/ 250 阅读

相关 jieba结巴分词器

安装： pip install jieba 相关知识：三种分词模式： 1. 全模式：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。这种全

约定不等于承诺〃/ 2022年02月23日 13:12/ 0 赞/ 357 阅读