【Python系列】分词工具

布满荆棘的人生 2024-05-05 07:55 54阅读 0赞

> ???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。  
> ![img][]
> 
>  *  推荐:[kwan 的首页][kwan],持续学习,不断总结,共同进步,活到老学到老
>  *  导航
>     
>      *  [檀越剑指大厂系列][Link 1]:全面总结 java 核心技术点,如集合,jvm,并发编程 redis,kafka,Spring,微服务,Netty 等
>      *  [常用开发工具系列][Link 2]:罗列常用的开发工具,如 IDEA,Mac,Alfred,electerm,Git,typora,apifox 等
>      *  [数据库系列][Link 3]:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
>      *  [懒人运维系列][Link 4]:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
>      *  [数据结构与算法系列][Link 5]:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂
> 
> 非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。??? ✨✨ 欢迎订阅本专栏 ✨✨

#### 博客目录 ####

*   *  jieba
     *   *  1.什么是 jieba 分词?
         *  2.只提取名词
         *  3.精确模式
         *  4.全模式
         *  5.搜索引擎模式
     *  NLTK

### jieba ###

#### 1.什么是 jieba 分词? ####

在 Python 中，有几个流行的分词工具可用于处理自然语言文本。以下是其中一些常用的分词工具：

jieba：jieba 是一个非常流行的中文文本分词工具。它使用基于前缀词典的算法，能够高效地将中文文本切分成词语。你可以使用`pip`命令安装 jieba 库：`pip install jieba`。下面是使用 jieba 进行中文分词的示例：

import jieba
    
    text = "我喜欢Python编程语言"
    seg_list = jieba.cut(text, cut_all=False)  # 精确模式分词
    result = " ".join(seg_list)
    print(result)

输出：

我 喜欢 Python 编程 语言

![在这里插入图片描述][d3ba7008558942318d52f76c4231bfd8.png_pic_center]

#### 2.只提取名词 ####

import jieba.posseg as pseg
    
    text = "我 喜欢 Python 编程语言"
    words = pseg.cut(text)
    nouns = []
    for word, flag in words:
        if flag.startswith('n'):  # 以'n'开头的为名词
            if word != ' ':
                nouns.append(word)
    
    print(nouns)

#### 3.精确模式 ####

import jieba
    
    text = "什么是计算机网络定义?"
    
    # 精确模式
    seg_list = jieba.cut(text, cut_all=False)
    result = " ".join(seg_list)
    print("精确模式：", result)

#### 4.全模式 ####

import jieba
    
    text = "什么是计算机网络定义?"
    
    # 全模式
    seg_list = jieba.cut(text, cut_all=True)
    result = " ".join(seg_list)
    print("全模式：", result)

#### 5.搜索引擎模式 ####

import jieba
    
    text = "什么是计算机网络定义?"
    
    # 搜索引擎模式
    seg_list = jieba.cut_for_search(text)
    result = " ".join(seg_list)
    print("搜索引擎模式：", result)

### NLTK ###

![在这里插入图片描述][4ed3d2e28fbc417fa656cb1f2e72dcf4.png_pic_center]

NLTK：Natural Language Toolkit（NLTK）是一个广泛使用的自然语言处理库，提供了各种文本处理功能，包括分词。NLTK 支持多种语言的分词，包括英文、中文等。你可以使用`pip`命令安装 NLTK 库：`pip install nltk`。下面是使用 NLTK 进行英文分词的示例：

import nltk
    
    text = "I love natural language processing"
    tokens = nltk.word_tokenize(text)
    print(tokens)

输出：

['I', 'love', 'natural', 'language', 'processing']

> 觉得有用的话点个赞 `??` 呗。  
> ❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！???
> 
> ???如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!? ? ?
> 
> ???Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！???
> 
> ![img][img 1]

[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/6421a132c6a74b7592cc57cd37fa238a.jpeg
[kwan]: https://qinyingjie.blog.csdn.net/?type=blog
[Link 1]: https://blog.csdn.net/qyj19920704/category_11763029.html
[Link 2]: https://blog.csdn.net/qyj19920704/category_11474211.html
[Link 3]: https://blog.csdn.net/qyj19920704/category_11474265.html
[Link 4]: https://blog.csdn.net/qyj19920704/category_7540627.html
[Link 5]: https://blog.csdn.net/qyj19920704/category_11480075.html
[d3ba7008558942318d52f76c4231bfd8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/f03e5502f0a8431bae038416cf8c3520.png
[4ed3d2e28fbc417fa656cb1f2e72dcf4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/c39aff44103a4e41a77a2ad8bbb407d4.png
[img 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/b67c206598024a579435fea6961a98b9.gif