python 基础教程：使用jieba库对文本进行分词

缺乏、安全感 2024-05-06 09:35 87阅读 0赞

## 一、jieba库是什么？ ##

Python的jieba库是一个中文分词工具，它可以将一段中文文本分割成一个一个的词语，方便后续的自然语言处理任务，如文本分类、情感分析等。jieba库使用了基于前缀词典的分词方法，能够处理中文的各种复杂情况，如歧义词、新词等。它还提供了多种分词模式，如精确模式、全模式、搜索引擎模式等，以适应不同场景的需求。此外，jieba库还支持用户自定义词典，使得分词结果更加准确。

## 二、安装jieba库 ##

pip install jieba

## 三、查看jieba版本 ##

pip show jieba

> Name: jieba  
> Version: 0.42.1  
> Summary: Chinese Words Segmentation Utilities  
> Home-page: https://github.com/fxsjy/jieba  
> Author: Sun, Junyi  
> Author-email: ccnusjy@gmail.com  
> License: MIT  
> Requires:  
> Required-by:

## 四、使用方法 ##

1.引入库

import jieba

#### 2.定义需要分词的文本 ####

text = "我爱发动态，我喜欢使用搜索引擎模式进行分词"
    
    # 对于刚学Python的小伙伴，我还给大家准备了Python基础教程、数百本电子书
    # 直接在这个Q裙自取即可：279199867

#### 3.使用分词模式进行分词 ####

3.1、精确模式(默认)  
试图将句子最精确地切开，适合文本分析。

seg_list = jieba.cut(text)

3.2、全模式  
把句子中所有的可能成词的词语都扫描出来，速度很快，但是不能解决歧义。

seg_list = jieba.cut(text, cut_all=True)

3.3、搜索引擎模式  
在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

seg_list = jieba.cut_for_search(text)

#### 4.将分词结果转换为列表 ####

word_list = list(seg_list)

#### 5.打印分词结果 ####

print(word_list)

#### 6.分词效果对比 ####

6.1、精确模式(默认)

['我爱发', '动态', '，', '我', '喜欢', '使用', '搜索引擎', '模式', '进行', '分词']

6.2、全模式

['我', '爱', '发动', '动态', '，', '我', '喜欢', '使用', '搜索', '搜索引擎', '索引', '引擎', '模式', '进行', '分词']

6.3、搜索引擎模式

['我爱发', '动态', '，', '我', '喜欢', '使用', '搜索', '索引', '引擎', '搜索引擎', '模式', '进行', '分词']

发表评论取消回复

表情：

评论列表（有 0 条评论，87人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 基础教程：使用jieba库对文本进行分词

text = "我爱发动态，我喜欢使用搜索引擎模式进行分词"# 对于刚学Python的小伙伴，我还给大家准备了Python基础教程、数百本电子书# 直接在这个Q裙自取即可...

缺乏、安全感/ 2024年05月06日 09:35/ 0 赞/ 88 阅读

相关 Python使用jieba或pkuseg进行中文分词

中文分词是自然语言处理中的重要步骤，它将一段中文文本分割成一个个有意义的词语，为后续的文本处理和分析提供基础。Python中有多种中文分词工具可供选择，本教程将介绍其中的两种：

逃离我推掉我的手/ 2024年03月23日 17:12/ 0 赞/ 93 阅读

相关分词使用 jieba 、IKAnalyzer

场景：表中因早起原因分别创建两套部门表。概述登录人为A/B不同类型，可选的部门范围不同。但是后来发现B类人员可选A类中部门，故对于B来说部门取并集！问题：相同名称或类

旧城等待，/ 2023年09月27日 16:32/ 0 赞/ 130 阅读

相关 NLP 使用jieba分词

相比于机械法分词法，jieba联系上下文的分词效果更好。同时使用HMM模型对词组的分类更加准确。测试对如下文本的分词效果 > 南门街前段时间经过整改劝阻摆摊占道的情

男娘i/ 2023年07月20日 13:31/ 0 赞/ 6 阅读

相关手把手教会你使用Python进行jieba分词

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤疏影横斜水清浅，暗香浮动月黄昏。

女爷i/ 2022年10月07日 07:53/ 0 赞/ 228 阅读

相关 jieba分词

1分词 `jieba.cut` 方法接受三个输入参数: 需要分词的字符串；cut\_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

约定不等于承诺〃/ 2022年09月24日 08:27/ 0 赞/ 223 阅读

相关 jieba分词

jieba “结巴”中文分词：做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese te

墨蓝/ 2022年07月12日 11:14/ 0 赞/ 277 阅读

相关 jieba分词

参考文章：[Github上的项目———jieba][Github_jieba] 中文分词对于NLP（自然语言处理）来说，分词是一步重要的工作，市面上也有各种分词库，[

冷不防/ 2022年05月15日 02:48/ 0 赞/ 309 阅读

相关 python 简单实现jieba库分词制作词云

准备工作： python版本：python 2 ide：pycharm2018 pip 安装 jieba ， wordcloud ，matplotlib \保存至脚

落日映苍穹つ/ 2022年03月21日 08:18/ 0 赞/ 268 阅读

相关 python使用jieba库进行中文分词

很简单的一个实现，当初以为很复杂。把附录的文件贴上就行 -- coding: utf-8 -- """ Created on Tue Mar 5

我会带着你远行/ 2022年03月10日 07:16/ 0 赞/ 332 阅读