中文分析jieba简单应用

客官°小女子只卖身不卖艺 2023-05-31 12:22 9阅读 0赞

### 1、三种分词模式 ###

import jieba
    msg = '安徽省长江流域！'
    seg_list = jieba.cut(msg, cut_all=True)
    print('全模式：', '/ ' .join(seg_list)) 
    seg_list = jieba.cut(msg, cut_all=False)
    print('精确模式：', '/ '.join(seg_list)) 
    seg_list = jieba.cut(msg)  
    print('默认精确模式：', '/ '.join(seg_list))
    seg_list = jieba.cut_for_search(msg)  
    print('搜索引擎模式', '/ '.join(seg_list))

输出结果

全模式： 安徽/ 安徽省/ 省长/ 长江/ 长江流域/ 江流/ 流域/ / 
    精确模式： 安徽省/ 长江流域/ ！
    默认精确模式： 安徽省/ 长江流域/ ！
    搜索引擎模式 安徽/ 安徽省/ 长江/ 江流/ 流域/ 长江流域/ ！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXVxaWFuZw_size_16_color_FFFFFF_t_70]

### 2、词性标注 ###

#词性标准
    #词性标准
    import jieba.posseg as psg
    sent = '中文分词是文本处理不可或缺的一步,没有比jieba更好的中文分词工具了！'
    seg_list = psg.cut(sent)
    # seg_list是generator类型
    # generator是一个函数，返回一个对象（迭代器），可以对其进行迭代
    print(seg_list)
    result = " ".join(["{0}/{1}\n".format(word, flag) for word, flag in seg_list])
    print(result)

输出

<generator object cut at 0x000001D430220E58>
    中文/nz
     分词/n
     是/v
     文本处理/n
     不可或缺/l
     的/uj
     一步/m
     ,/x
     没有/v
     比/p
     jieba/eng
     更好/d
     的/uj
     中文/nz
     分词/n
     工具/n
     了/ul
     ！/x

说明：

*  n 名词
    
     *  ns 地名
     *  nz 其它专名
 *  v 动词
    
     *  vd 副动词
     *  vn 名动词
 *  a 形容词
 *  w 标点符号
 *  u 助词
 *  r 代词
 *  w 标点符号
 *  d 副词

### 3、词典应用 ###

import jieba 
    #加载系统词典
    # 每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒
    jieba.set_dictionary('./data/dict.txt.big')
    
    sent = 'jieba分词非常好用，可以自定义金融词典！'
    seg_list = jieba.cut(sent)
    # str.join(sequence)，将序列中的元素以指定的字符连接生成一个新的字符串
    print('只加载系统词典:', '/ '.join(seg_list))
    
    jieba.load_userdict('./data/user_dict.utf8')
    seg_list = jieba.cut(sent)
    print('加载自定义词典后:', '/ '.join(seg_list))

执行结果

只加载系统词典: jieba/ 分词/ 非常/ 好用/ ，/ 可以/ 自定义/ 金融/ 词典/ ！
    加载自定义词典后: jieba分词/ 非常/ 好用/ ，/ 可以/ 自定义/ 金融词典/ ！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXVxaWFuZw_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXVxaWFuZw_size_16_color_FFFFFF_t_70]: /images/20230531/639e7812fa0e49dba243b42b7c3bbc78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXVxaWFuZw_size_16_color_FFFFFF_t_70 1]: /images/20230531/4def390bf06e4cee98e2d50af64b8642.png