使用jaccard距离计算文本相似度

╰半橙微兮° 2023-07-04 08:38 19阅读 0赞

[1. 使用simhash计算文本相似度][1. _simhash]  
[2. 使用余弦相似度计算文本相似度][2.]  
[3. 使用编辑距离计算文本相似度][3.]  
[4. jaccard系数计算文本相似度][4. jaccard]

## 4. jaccard系数计算文本相似度 ##

### 4.1 jaccard系数 ###

jaccard系数反映了两个向量（元素取值为0或1）间的关系。即对于 A ⃗ \\vec A A和 B ⃗ \\vec B B，定义：  
 N A 0 B 0 N\_\{A\_0B\_0\} NA0B0 =  A ⃗ \\vec A A中元素值为0且 B ⃗ \\vec B B中元素值为0的个数  
 N A 1 B 0 N\_\{A\_1B\_0\} NA1B0 =  A ⃗ \\vec A A中元素值为1且 B ⃗ \\vec B B中元素值为0的个数  
 N A 0 B 1 N\_\{A\_0B\_1\} NA0B1 =  A ⃗ \\vec A A中元素值为0且 B ⃗ \\vec B B中元素值为1的个数  
 N A 1 B 1 N\_\{A\_1B\_1\} NA1B1 =  A ⃗ \\vec A A中元素值为1且 B ⃗ \\vec B B中元素值为1的个数  
则 jaccard系数可以表示为：

J ( A , B ) = N A 0 B 0 + N A 1 B 1 N A 0 B 0 + N A 1 B 0 + N A 0 B 1 + N A 1 B 1 ( 1 ) J(A,B)=\\frac\{N\_\{A\_0B\_0\}+N\_\{A\_1B\_1\}\}\{N\_\{A\_0B\_0\}+N\_\{A\_1B\_0\}+N\_\{A\_0B\_1\}+N\_\{A\_1B\_1\}\} (1) J(A,B)=NA0B0\+NA1B0\+NA0B1\+NA1B1NA0B0\+NA1B1(1)

当向量中为0的元素远大于为1的元素的个数时， N A 0 B 0 N\_\{A\_0B\_0\} NA0B0 需要从计算中移除，而只关注均为1的元素的个数。因为当 N A 0 B 0 N\_\{A\_0B\_0\} NA0B0较大时，整个计算结果将区域稳定，无明显特征了。所以以上公式变为：

J ( A , B ) = N A 1 B 1 N A 1 B 0 + N A 0 B 1 + N A 1 B 1 ( 2 ) J(A,B)=\\frac\{N\_\{A\_1B\_1\}\}\{N\_\{A\_1B\_0\}+N\_\{A\_0B\_1\}+N\_\{A\_1B\_1\}\} (2) J(A,B)=NA1B0\+NA0B1\+NA1B1NA1B1(2)

另一种用集合表示的方法：

J ( A , B ) = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ = ∣ A ⋂ B ∣ ∣ A ∣ + ∣ B ∣ − ∣ A ⋂ B ∣ ( 3 ) J(A,B)=\\frac\{|A\\bigcap\{B\}|\}\{|A\\bigcup\{B\}|\}=\\frac\{|A\\bigcap\{B\}|\}\{|A|+|B|-|A\\bigcap\{B\}|\}(3) J(A,B)=∣A⋃B∣∣A⋂B∣=∣A∣\+∣B∣−∣A⋂B∣∣A⋂B∣(3)

### 4.2 jaccard系数相似度 ###

jaccard系数值越大，相似度越高，另一种说法是用jaccard距离表示相似度即： 1 − J ( A , B ) 1-J(A,B) 1−J(A,B)，本质一样，但jaccard距离越大相似度越小。

一般的 jaccard系数只适用于计算元素取值为0或1的集合，但是要注意的是这里取值为0或1并不是值集合中的值为0或1，而仅仅是集合中元素的取值为0或1，而计算出的jaccard系数是和元素本身相关的。

#### 4.2.1 jaccard系数衡量维度相似性 ####

jaccard系数很适合用来分析多个维度间的相似性，也多被用于推荐系统中用来给用户推荐相似的产品或业务。  
举个例子，要计算某网站的两个用户的相似性，可以从性别、地区、年龄、浏览时间等等维度进行分析，我们把这些维度再进行细化：  
男性、女性、小于18岁、18岁-40岁、40岁以上、浏览时间为早上、浏览时间为中午、浏览时间为下午  
将以上维度作为一个集合，对两个用户 A A A和 B B B，将符合以上维度的指标值置为1，其他置为0。  
假设用户 A A A=\[男性=1, 女性=0, 小于18岁=0, 18岁-40岁=1, 40岁以上=0, 浏览时间为早上=0, 浏览时间为中午=0, 浏览时间为下午=1\]  
假设用户 B B B=\[男性=1, 女性=0, 小于18岁=1, 18岁-40岁=0, 40岁以上=0, 浏览时间为早上=0, 浏览时间为中午=0, 浏览时间为下午=1\]  
即他们只有年龄不同，则根据计算公式，得到的jaccard系数值为：

J ( A , B ) = N A 1 B 1 N A 1 B 0 + N A 0 B 1 + N A 1 B 1 = 2 4 = 0.5 J(A,B)=\\frac\{N\_\{A\_1B\_1\}\}\{N\_\{A\_1B\_0\}+N\_\{A\_0B\_1\}+N\_\{A\_1B\_1\}\}=\\frac\{2\}\{4\}=0.5 J(A,B)=NA1B0\+NA0B1\+NA1B1NA1B1=42=0.5

即他们的相似度为0.5

用matlab验证下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA_size_16_color_FFFFFF_t_70]

#### 4.2.1 jaccard系数衡量文本相似性 ####

虽然jaccard主要是在维度分析这样的稀疏向量中作用比较大，但是在文本相似度计算时也可用jaccard。

仍然用之前的文本作为输入样本：

> 样本1：今天天气真好  
> 样本2：今天天气不错

首先要做的还是分词：

A = \[今天,天气,真好\]

B = \[今天,天气,不错\]

J ( A , B ) = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ = 2 4 = 0.5 J(A,B)=\\frac\{|A\\bigcap\{B\}|\}\{|A\\bigcup\{B\}|\}=\\frac\{2\}\{4\}=0.5 J(A,B)=∣A⋃B∣∣A⋂B∣=42=0.5

转化为01向量，用matlab验证下：  
![在这里插入图片描述][20200210132342135.png]

### 4.3 jaccard系数计算实现(java) ###

public static double jaccard(String s1, String s2) { 
            List<String> words1 = splitWords(s1);
            List<String> words2 = splitWords(s2);
    
            List<String> temp = new ArrayList<>();
            temp.addAll(words1);
            temp.addAll(words2);
            List<String> union = temp.stream().distinct().collect(Collectors.toList());
            List<String> intersect = new ArrayList<>();
    
            List<String> a = words1.stream().
                    map(x -> words2.contains(x) ? x : null).
                    collect(Collectors.toList());
    
            List<String> b = words2.stream().
                    map(x -> words1.contains(x) ? x : null).
                    collect(Collectors.toList());
    
            intersect.addAll(a);
            intersect.addAll(b);
            intersect = intersect.stream().distinct().collect(Collectors.toList());
            intersect.removeAll(Collections.singleton(null));
    
            return 1.0 * intersect.size() / union.size();
        }

### 4.4 总结 ###

以上只是简单的从字符出现或者没有出现的角度进行相似度计算，而没有考虑其他因素。实际上，还可以结合词义进行近义词替换，来进一步达到语义层面的相似度计算，这样结果会更为准确。  
下面时jaccard的耗时：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA_size_16_color_FFFFFF_t_70_pic_center]

[1. _simhash]: https://blog.csdn.net/wxgxgp/article/details/104106867
[2.]: https://blog.csdn.net/wxgxgp/article/details/104146034
[3.]: https://blog.csdn.net/wxgxgp/article/details/104184418
[4. jaccard]: https://blog.csdn.net/wxgxgp/article/details/104235559
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200210132431163.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA==,size_16,color_FFFFFF,t_70
[20200210132342135.png]: https://img-blog.csdnimg.cn/20200210132342135.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200210141452685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4Z3hncA==,size_16,color_FFFFFF,t_70#pic_center