Python——sentenceSimilarity 的简单demo（测试句子相似度）

一时失言乱红尘 2024-03-17 09:02 74阅读 0赞

> ## 一、**sentenceSimilarity** 是什么？ ##
> 
> **sentenceSimilarity 属于机器学习的领域**
> 
> Python 中的 sentenceSimilarity 库是一个用于计算句子相似度的工具库，主要用于自然语言处理相关的应用中。该库支持多种模型计算句子相似度，包括 TF-IDF、LSI、LDA 等模型。
> 
> 在使用该库时，需要先用分词器对文本进行分词和预处理，并将处理后的句子传入 **SentenceSimilarity 实例中进行训练。**
> 
> 在计算相似度时，只需将需要计算相似度的两个句子作为参数传入 similarity 方法即可。
> 
> 句子相似度计算广泛应用于自然语言处理中的各种任务，例如机器翻译、文本分类、信息检索等。
> 
> 通过计算不同文本之间的相似度，可以实现自动化的文本挖掘、信息抽取和知识管理等应用。
> 
> 除此之外，在社交网络和推荐系统中也有广泛的应用，例如协同过滤和基于内容的推荐等。

> ## **二、**代码包 ##
> 
> [sentenceSimilarity-master.zip - 蓝奏云文件大小：27.6 K|![favicon.ico][]https://wwwf.lanzout.com/iblEj0wrt0sh][sentenceSimilarity-master.zip - _27.6 K_favicon.ico_https_wwwf.lanzout.com_iblEj0wrt0sh]
> 
>     直接启动demo.py即可

> ## 三、demo代码 ##
> 
>     #encoding=utf-8
>     
>     from zhcnSegment import *
>     from fileObject import FileObj
>     from sentenceSimilarity import SentenceSimilarity
>     from sentence import Sentence
>     
>     if __name__ == '__main__':
>         # 读入训练集
>         file_obj = FileObj(r"testSet/trainSet.txt")
>         train_sentences = file_obj.read_lines()
>     
>         # 读入测试集1
>         file_obj = FileObj(r"testSet/testSet1.txt")
>         test1_sentences = file_obj.read_lines()
>     
>         # 读入测试集2
>         # file_obj = FileObj(r"testSet/testSet2.txt")
>         # test2_sentences = file_obj.read_lines()
>     
>         # 分词工具，基于jieba分词，我自己加了一次封装，主要是去除停用词
>         seg = Seg()
>     
>         # 训练模型
>         ss = SentenceSimilarity(seg)
>         ss.set_sentences(train_sentences)
>         ss.TfidfModel()         # tfidf模型
>         # ss.LsiModel()         # lsi模型
>         # ss.LdaModel()         # lda模型
>         # 创建 SentenceSimilarity 实例并进行训练
>     
>     
>         # 计算句子相似度
>         right_count = 0
>         for i, test_word in enumerate(test1_sentences):
>             result = ss.similarity(test_word)
>             score, idx = result.score, result.id
>             print(f"【{i}】{test1_sentences[i]} => 【{idx}】{train_sentences[idx]}, score={score}")
>             if score > 0.8:
>                 right_count += 1
>         res = str(float(right_count) / len(train_sentences) * 100)
>         print(f"相似率为:{res}%")

> ## 四、运行结果 ##
> 
> ![98508e0925e046b1b70df1c4a16412d7.png][]

> **句子相似度计算是自然语言处理中的一个很重要的任务，而其中的模型建立和相似度计算等过程使用了一些机器学习的方法。**
> 
> **在这个过程中，需要进行大量数据的预处理，包括分词、去除停用词、构建词汇表和统计文本特征值等。然后使用这些特征值作为模型的输入，采用传统的机器学习方法（如 LSI、LDA 和 TF-IDF 等）进行训练和预测，从而实现句子相似度计算的目标。**
> 
> **因此，句子相似度计算是机器学习与自然语言处理的结合，这些模型也被广泛应用于文本分类、情感分析等领域。**

[favicon.ico]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/92fe71ec4dd746249cc7a315b847d1c5.png
[sentenceSimilarity-master.zip - _27.6 K_favicon.ico_https_wwwf.lanzout.com_iblEj0wrt0sh]: https://wwwf.lanzout.com/iblEj0wrt0sh
[98508e0925e046b1b70df1c4a16412d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ff1a40a1e63446349d246daa7786c5a0.png