文本相似度分析（基于jieba和gensim）

阳光穿透心脏的1/2处 2021-12-18 07:57 762阅读 0赞

## 基础概念 ##

本文在进行文本相似度分析过程分为以下几个部分进行，

*  文本分词
 *  语料库制作
 *  算法训练
 *  结果预测

分析过程主要用两个包来实现jieba，gensim  
jieba:主要实现分词过程  
gensim：进行语料库制作和算法训练

## 结巴（jieba）分词 ##

在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处理可选择jieba库。结巴分词是基于统计的分词方法，它对给出大量已经分词的文本，利用统计机器学习模型学习词语切分的规律（称为训练），从而实现对未知文本的切分。例如最大概率分词方法和最大熵分词方法等。随着大规模语料库的建立，统计机器学习方法的研究和发展，基于统计的中文分词方法渐渐成为了主流方法。

### jieba分词的三种模式: ###

*  精确模式：将句子最精确的分开，适合文本分析
 *  全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义
 *  搜索引擎模式：在精确的基础上，对长词再次切分，提高召回

结巴分词的其他特点诸如：支持繁体分词，支持自定义词典，基于Trie树结构实现高效的词图扫描，采用了动态规划查找最大概率路径等特点。

### jieba库中分词函数 ###

1、jieba.cut()方法  
参数string:需要接受分词的字符串。  
参数cut\_all：控制是否采用全模式分词发，参数为True时表示采用全模式。  
参数HMM：控制是否使用HMM模型，参数为True时表示使用HMM模型。

2、jieba.cut\_for\_search()  
参数string:需要接受分词的字符串。  
参数HMM：控制是否使用HMM模型，参数为True时表示使用HMM模型。

jieba.cut 以及 jieba.cut\_for\_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语。jieba.lcut和jieba.lcut\_for\_search参数和上面两个方法一致但返回的是一个list。

### python上的分词输出对比 ###

import jieba
    
    string='上海市浦东新区世纪大道100号楼501'
    
    #精准模式
    text_cut=jieba.cut(string)
    print(" ".join(text_cut))
    
    #全模式
    text_cut=jieba.cut(string,cut_all=True)
    print(" ".join(text_cut))
    
    #搜索模式
    text_cut=jieba.cut_for_search(string)
    print(" ".join(text_cut))

三种模式的输出结果：  
精准模式：上海市浦东新区 世纪 大道 100 号楼 501  
全模式：上海 上海市 上海市浦东新区 海市 浦东 浦东新区 新区 世纪 纪大 大道 100 号 楼 501  
搜索引擎模式：上海 海市 浦东 新区 上海市 上海市浦东新区 世纪 大道 100 号楼 501

### jieba分词自定义字典 ###

在使用jieba时，用户除了直接对文本进行分词外，还可以自行添加新词，已达到优化分词效果的目的。

1、加载自定义字典jieba.load\_userdict()  
参数filename：为文件类对象或自定义词典的路径  
词典格式分为3个部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。  
file\_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。

2、从字典中添加或删除词汇add\_word、del\_word  
add\_word(word,freq=None,tag=None)，add\_word有3个参数，添加词名称，词频，词性  
del\_word(word)，del\_word只有一个参数词语名称

3、词频调整suggest\_freq  
suggest\_freq（segment,tune=True）  
调节单个词语的词频，可以使其能（或不能）被分出来，词频越高在分词时，能够被分出来的概率越大。

### python示例 ###

import jieba
    
    #载入自定义词典
    jieba.load_userdict('word_dict.txt')
    
    #查看用户自定义词典中的内容
    print(jieba.user_word_tag_tab)
    
    #往自定义词典中添加新词
    jieba.add_word('人民广场',freq=5,tag='n')
    
    #添加新词后的结果
    print(jieba.user_word_tag_tab)
    
    string='上海市浦东新区世纪大道100号楼501'
    text_cut=jieba.cut(string)
    print(" ".join(text_cut))
    
    #调整词频，重新分词
    jieba.suggest_freq(('上海市','浦东新区'),tune=True)
    text_cut=jieba.cut(string)
    print(" ".join(text_cut))

输出结果：  
载入词典内容：\{'世纪大道': 'n', '浦东新区 2 ': 'n', '世纪公园 3 ': 'n'\}  
添加新词后：\{'世纪大道': 'n', '浦东新区 2 ': 'n', '世纪公园 3 ': 'n', '人民广场': 'n'\}  
结巴原始字典库，分词结果：上海市浦东新区 世纪 大道 100 号楼 501  
使用自定义词典后，分词结果：上海市浦东新区 世纪大道 100 号楼 501  
调整词频后，分词结果：上海市 浦东新区 世纪大道 100 号楼 501

结巴分词官方文档：  
[https://pypi.org/project/jieba/][https_pypi.org_project_jieba]

结巴分词github地址：  
[https://github.com/fxsjy/jieba][https_github.com_fxsjy_jieba]

## Gensim ##

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。  
它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法。

### 相关概念 ###

*  语料（Corpus）：一组原始文本的集合，用于无监督地训练文本主题的隐层结构。在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每一次迭代返回一个可用于表达文本对象的稀疏向量。
 *  向量（Vector）：由一组文本特征构成的列表。是一段文本在Gensim中的内部表达。在向量空间模型中，每个文档被表示成了一组特征，比如，一个单一的特征可能被视为一个问答对。
 *  稀疏向量（SparseVector）：通常，大部分问题的答案都是0，为了节约空间，我们会从文档表示中省略他们，向量中的每一个元素是一个(key, value)的元组，比如（1,3），（2,4），（5,0），其中（5,0）是一个稀疏向量，在表示是会被忽略。
 *  模型（Model）：是一个抽象的术语。定义了两个向量空间的变换（即从文本的一种向量表达变换为另一种向量表达）。

把几个概念组织起来表述：gensim可以通过读取一段语料，输出一个向量，表示文档中的一个词。为了节约空间，通常稀疏的词向量会被忽略，剩下的词向量则可以用来训练各种模型，即从原有的文本表达转向另一种文本表达。

### 语料库制作 ###

语料库制作主要包含两个过程：  
获取词袋：本文主要来自于结巴分词结果  
向量转换：对获取的词袋进行向量转换

1、获取词袋函数 gensim.corpora.Dictionary()  
gensim.corpora.dictionary.Dictionary可以为每个出现在语料库中的单词分配了一个独一无二的整数编号id。这个操作收集了单词计数及其他相关的统计信息。

### python示例 ###

import jieba
    import gensim
    
    print(jieba.user_word_tag_tab)
    string=['上海市浦东新区世纪大道100号楼501','上海市世纪大道100号楼501']
    
    texts_list=[]
    for sentence in string:
        sentence_list=[ word for word in jieba.cut(sentence)]
        texts_list.append(sentence_list)
    
    dictionary=gensim.corpora.Dictionary(texts_list)
    print(dictionary)
    print(dictionary.token2id)

输出结果：  
Dictionary(7 unique tokens: \['100', '501', '上海市浦东新区', '世纪', '号楼'\]...)  
\{'100': 0, '501': 1, '上海市浦东新区': 2, '世纪': 3, '号楼': 4, '大道': 5, '上海市': 6\}

第一行结果告诉我们语料库中有7个不同的单词，这表明每个文档将会用7个数字表示（即7维向量）。  
第二行结果是查看单词与编号之间的映射关系。

2、向量转换 dictionary.doc2bow（）  
函数doc2bow() 简单地对每个不同单词的出现次数进行了计数，并将单词转换为其编号，然后以稀疏向量的形式返回结果。

### python示例 ###

corpus = [dictionary.doc2bow(doc) for doc in texts_list]
    print(corpus)

输出结果：  
\[\[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1)\], \[(0, 1), (1, 1), (3, 1), (4, 1), (5, 1), (6, 1)\]\]

以上结果中，表示两个字符串中，每个词的id以及它对应的出现频次，比如第一个元组（0,1）代表的是编号为0的词在第一个字符串中出现一次。

### 算法训练 ###

下面我们使用tf-idf算法对上面的语料库进行建模，识别不同文本的相似度。

### python示例 ###

#测试字符串
    test_string='浦东新区世纪大道100号楼501'
    test_doc_list=[word for word in jieba.cut(test_string)]
    test_doc_vec=dictionary.doc2bow(test_doc_list)
    
    # 使用TF-IDF模型对语料库建模
    tfidf = gensim.models.TfidfModel(corpus)
    
    #分析测试文档与已存在的每个训练文本的相似度
    index = gensim.similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=len(dictionary.keys()))
    sim = index[tfidf[test_doc_vec]]
    
    print(sim)

输出结果：  
\[ 0.63650501 0.63650501 0. \]  
表示测试文本与训练的3个文本相似度分布0.63 0.63 0  
以上就是使用jieba和gensim文本相似度的简单实现.

gensim官方文档：  
[https://pypi.org/project/gensim/][https_pypi.org_project_gensim]

转载于:https://www.cnblogs.com/wkslearner/p/10505562.html

[https_pypi.org_project_jieba]: https://pypi.org/project/jieba/
[https_github.com_fxsjy_jieba]: https://github.com/fxsjy/jieba
[https_pypi.org_project_gensim]: https://pypi.org/project/gensim/