Python jieba切词基础实战

逃离我推掉我的手 2022-06-03 01:53 189阅读 0赞

#coding=utf-8
    ''' Created on 2017-12-11 jieba的主要功能 1.主要用于中文文本切词，如果碰到英文单词，也会以英文的默认形式切分 2.可以使用collections中的Counter对切词后的list进行一个topN操作获取最频繁词 3.提取关键词，提供了tf-idf和TextRank 切词注意事项: 1.使用jieba切词，如果发现有些词需要合并或者分开，则进行相应的操作。 2.在提取关键词时，需要注意停用词和过滤哪些词等。 '''
    
    import jieba
    
    # 结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式
    # jieba.cut(cut_all=Flase, HMM=_)
    # HMM表示是否使用HMM模型识别未登录的词，默认为Flase
    # 精确模式,能解决歧义，把文本精确的分词(这里玉龙雪山完美分词，但是丽江古城并不能)
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城，I am learning SVM_model"
    cut = jieba.cut(s)
    # print type(cut)
    # <type 'generator'>，返回的是一个生成器
    print ','.join(cut)
    # 我,去,云南旅游,，,不仅,去,了,玉龙雪山,，,还,去,丽江,古城,，,很,喜欢,丽江,古城,，,I, ,am, ,learning, ,SVM,_,model
    
    # 全模式,把文本分成尽可能多的词
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城"
    cut = jieba.cut(s,cut_all = True)
    # print ','.join(cut)
    # 我,去,云南,云南旅游,旅游,,,不仅,去,了,玉龙,玉龙雪山,雪山,,,还,去,丽江,古城,,,很,喜欢,丽江,古城
    
    # 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城"
    cut = jieba.cut_for_search(s)
    # print ','.join(cut)
    # 我,去,云南,旅游,云南旅游,，,不仅,去,了,玉龙,雪山,玉龙雪山,，,还,去,丽江,古城,，,很,喜欢,丽江,古城
    
    # 获取词性
    import jieba.posseg as psg
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城"
    words = psg.cut(s)
    # for word in words:
    # print word.word,word.flag
    
    # 并行分词
    # 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows。
    # 开启并行分词模式，参数为并行进程数
    # jieba.enable_parallel(4) 
    # 关闭并行分词模式
    # jieba.disable_parallel() 
    
    # 返回词语在原文的起止位置
    # result = jieba.tokenize(u"玉龙雪山")
    # for tk in result:
    # print("%s \t start at: %d \t end at: %d" %(tk[0], tk[1], tk[2]))
    
    # 自定义词典
    # jieba的自带词典位置例如D:\Python27\Lib\site-packages\jieba\dict.txt,内容格式为词语,次数(优先级，可省略),词性(可省略)
    # 不知道为啥在dict.txt中自定义自己一个词无效，所以自定义一个词典custom.txt,添加"丽江古城"后
    # 可以使用jieba.load_userdict("D:\\Python27\\Lib\\site-packages\\jieba\\custom.txt")
    # 如果想单独使用自己定义的词典，使用jieba.set_dictionary("D:\\Python27\\Lib\\site-packages\\jieba\\custom.txt"),这里在custom.txt中加了丽江古城
    jieba.load_userdict("D:\\Python27\\Lib\\site-packages\\jieba\\custom.txt")
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城"
    cut = jieba.cut(s)
    # print ','.join(cut)
    # 我,去,云南旅游,，,不仅,去,了,玉龙雪山,，,还,去,丽江古城,，,很,喜欢,丽江古城
    
    # 动态增加和删除词典
    s = "我喜欢看最强大脑"
    jieba.add_word("最强大脑", freq = 20000, tag = None)
    # jieba.del_word("最强")
    cut = jieba.cut(s)
    # print ','.join(cut)
    # 我,喜欢,看,最强大脑
    
    # 获取出现频率Top n的词
    from collections import Counter
    s = "我去云南旅游，不仅去了玉龙雪山，还去丽江古城，很喜欢丽江古城"
    cut = jieba.cut(s)
    words = list(cut)
    topns = Counter(words).most_common(20)
    for top in topns:
        print top[0],top[1]
    # ， 3
    # 去 3
    # 丽江古城 2
    # 不仅 1
    # 了 1
    # 很 1
    # 云南旅游 1
    # 我 1
    # 玉龙雪山 1
    # 喜欢 1
    # 还 1 
    
    # 关键词提取，TF-IDF,TextRank
    import jieba.analyse
    
    # TF-IDF
    # jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    # –sentence 为待提取的文本
    # –topK 为返回几个 TF*IDF 权重最大的关键词，默认值为 20
    # –withWeight 为是否一并返回关键词权重值，默认值为 False
    # –allowPOS 仅包括指定词性的词，默认值为空，即不筛选
    # extract_tags方法是通过计算tf*idf返回关键词权重，其中
    # tf为sentence中的词频
    # jieba.analyse.idf为D:\Python27\Lib\site-packages\jieba\analyse\idf.txt中记录的数据，(而没有出现在idf.txt中的词，默认值目前博主也没有明白，总之也比较大)
    seg = jieba.analyse.extract_tags(s, topK = 20, withWeight = True)
    for tag, weight in seg:
        print "%s %s" %(tag, weight)
    cut = jieba.cut(s)
    words = list(cut)
    print len(words)
    # ， 3
    # 去 3
    # 丽江古城 2
    # 不仅 1
    # 了 1
    # 很 1
    # 云南旅游 1
    # 我 1
    # 玉龙雪山 1
    # 喜欢 1
    # 还 1 
    # 丽江古城 3.98492250097
    # 云南旅游 2.31677960867
    # 玉龙雪山 1.8174908964
    # 喜欢 0.950431400503
    # 不仅 0.836983596712
    # 16
    # 虽然分词后的数量为16，但是在计算tf值(词频)的时候,会先将停用词(',','去','了','很','我','还')去掉，
    # 原因在源代码tfidf.py中有一句if len(wc.strip()) < 2 or wc.lower() in self.stop_words:，这些字符都小于2
    # 然后再计算tf值，所以这里云南旅游2.31677960867 = 1/6 * 13.900677652
    
    # 把丽江古城的idf=0.11111111加入idf.txt文件,然后再使用
    jieba.analyse.set_idf_path("D:\\Python27\\Lib\\site-packages\\jieba\\analyse\\newidf.txt")
    seg = jieba.analyse.extract_tags(s, topK = 20, withWeight = True)
    for tag, weight in seg:
        print "%s %s" %(tag, weight)
    # 云南旅游 2.31677960867
    # 玉龙雪山 1.8174908964
    # 喜欢 0.950431400503
    # 不仅 0.836983596712
    # 丽江古城 0.0370370366667
    
    # 还可以设置停用词进行过滤
    # 默认的过滤可以在源代码D:\Python27\Lib\site-packages\jieba\analyse\tfidf.py中查看，
    # 英文有默认的停用词STOP_WORDS变量，还有if len(wc.strip()) < 2 or wc.lower() in self.stop_words:的过滤
    # 也可以将过滤词写入文件中，然后调用
    # jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
    
    # jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件，还不知实际用法
    
    
    # # TF-IDF和TextRank关键词提取比较，在网上随便找了一片机器学习的文章，感觉差不多
    # print "TF-IDF"
    # f = open("D:\\tempFiles\\xiaoshuo\\xiaoshuo\\333.txt", "r").read()
    # seg = jieba.analyse.extract_tags(f, topK = 20, withWeight = True,allowPOS=('ns', 'n', 'vn', 'v'))
    # for tag, weight in seg:
    # print "%s %s" %(tag, weight)
    # # TF-IDF
    # # 机器学习 0.561256690277
    # # 程序员 0.252703836526
    # # 定义 0.225158538822
    # # 垃圾邮件 0.144009795045
    # # 学习 0.108490512994
    # # 领域 0.101639352909
    # # 决策 0.0961011211044
    # # 计算机科学 0.0916201213669
    # # 数据 0.0897907357444
    # # 需要 0.0747876167113
    # # 模型 0.074580168313
    # # 度量 0.070503353081
    # # 邮件 0.0699910062157
    # # 程序 0.0693735607599
    # # 性能 0.0690830592581
    # # 计算机程序 0.0682625688789
    # # 问题 0.0682294981281
    # # 经验 0.0626888909498
    # # 训练 0.0624350485315
    # # 方法 0.0621947421601
    # 
    # 
    # # TextRank
    # # allowPOS词性参数必须要指定
    # # jieba.analyse.TextRank() 新建自定义 TextRank 实例
    # print "TextRank"
    # f = open("D:\\tempFiles\\xiaoshuo\\xiaoshuo\\333.txt", "r").read()
    # seg = jieba.analyse.textrank(f, topK = 20, withWeight = True,allowPOS=('ns', 'n', 'vn', 'v'))
    # for tag, weight in seg:
    # print "%s %s" %(tag, weight)
    # # TextRank
    # # 机器学习 1.0
    # # 定义 0.535912275932
    # # 领域 0.530605296708
    # # 程序员 0.490406514764
    # # 数据 0.459853876866
    # # 需要 0.438028010056
    # # 学习 0.413631251573
    # # 问题 0.387826660578
    # # 方法 0.345708808183
    # # 决策 0.32013868787
    # # 能够 0.317290835203
    # # 模型 0.281383871087
    # # 作为 0.275006501042
    # # 垃圾邮件 0.267333473619
    # # 经验 0.264095802056
    # # 训练 0.237613073156
    # # 程序 0.235826580463
    # # 性能 0.218489306116
    # # 角度 0.201835769997
    # # 邮件 0.195625709773
    
    # 延迟加载机制
    # jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。
    # import jieba
    # jieba.initialize() # 手动初始化（可选）