使用pytorch实现相似度计算的方法

ゞ浴缸里的玫瑰 2022-12-28 00:50 171阅读 0赞

LawsonAbs的认知与思考，还请各位读者批判阅读。

# 总结 #

*  文章来源： CSDN@LawsonAbs
 *  详细代码可以在我的[GitHub][]中查看

--------------------

# 1. 余弦相似度 #

在pytorch中，有一个专门的函数用于计算相似度：`torch.cosine_similarity()`，下面看看`cosine_similarity` 的使用方法。  
[参考文档][Link 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]相似度的概念是：求向量的相似度。但是官方文档竟然给出的是求矩阵的相似度。这么做的原因是，让大家学习到这个参数dim，表示对矩阵的哪个维度求相似，该值默认为1。下面我以一个较小的矩阵来分析：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

# 2. 常见报错 #

## `IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)` ##

如果我们直接使用`F.cosine_similarity()`方法计算两个一维向量计算相似度，那么就会得到这种错误。示例如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]  
这是一种维度错误，主要原因是==cosine\_similarity()这个方法计算相似度时的维度默认是dim=1，所以就导致对于一个向量计算错误。==有两种方法可以解决这个问题：

*  如注释，将tensor添加一个维度，那么就得到了最后的可以正确结果。
 *  或者在调用`cosine_similarity()`的时候使用`dim=0`这个参数，如下所示：  
    ![在这里插入图片描述][27fdb82316554194b4a42ca669c3bbf9.png]

[GitHub]: https://github.com/LawsonAbs/learn/blob/master/pytorch/%E8%AE%A1%E7%AE%97%E7%9B%B8%E4%BC%BC%E5%BA%A6.ipynb
[Link 1]: https://pytorch.org/docs/stable/nn.functional.html#cosine-similarity
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221120/37f246d06fad4a45ab3e0cc15386833e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221120/6d4a0679efd644df820220fffbd74118.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210118153127742.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[27fdb82316554194b4a42ca669c3bbf9.png]: https://img-blog.csdnimg.cn/27fdb82316554194b4a42ca669c3bbf9.png