推荐系统的评测指标

桃扇骨 2023-06-20 13:56 56阅读 0赞

上一篇博客讲到我们常用到的推荐系统以及各种推荐系统的具体不同，也讲到了推荐系统的评测，那接下来来学习一下推荐系统评测的各种指标。

一、评测指标：

①用户满意度：

用户作为推荐系统的重要参与者，其满意度是评测推荐系统的最重要指标。但是，用户满意 度没有办法离线计算，只能通过用户调查或者在线实验获得。这里的离线是指用于推荐系统的实验是通过用户行为日志来完成的。那么载先情况下该如何获取用户满意度这个指标呢？在在线系统中，用户满意度主要通过一些对用户行为的统计得到。比如在电子商务网站中， 用户如果购买了推荐的商品，就表示他们在一定程度上满意。因此，我们可以利用购买率度量用 户的满意度。此外，有些网站会通过设计一些用户反馈界面收集用户满意度。比如在视频网站 Hulu的推荐页面和豆瓣网络电台中，都有对推荐结果满意或 者不满意的反馈按钮，通过统计两种按钮的单击情况就可以度量系统的用户满意度。更一般的情 况下，我们可以用点击率、用户停留时间和转化率等指标度量用户的满意度。

②预测准确度

预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐 系统离线评测指标。在计算该指标时需要有一个离线的数据集，该数据集包含用户的历史行为记录。然后，将该 数据集通过时间分成训练集和测试集。最后，通过在训练集上建立用户的行为和兴趣模型预测用 户在测试集上的行为，并计算预测行为和测试集上实际行为的重合度作为预测准确度。由于离线的推荐算法有不同的研究方向，因此下面将针对不同的研究方向介绍它们的预测准 确度指标。

评分预测：

很多提供推荐服务的网站都有一个让用户给物品打分的功能（如图1-26所示）。那么，如果 知道了用户对物品的历史评分，就可以从中习得用户的兴趣模型，并预测该用户在将来看到一个 他没有评过分的物品时，会给这个物品评多少分。预测用户对物品评分的行为称为评分预测

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70][]

具体的指标计算如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 1][]

TopN推荐：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 2][]

这有一点是需要注意的，可能有的同学涉及过模型的准确率和召回率的概念，这里要做一下说明，可能在模型中这两个概念不是这么理解的，但是对比理解一下会发现，其本质是一样的，不要因为形式的不同而对这一点产生误解。

覆盖率：

覆盖率（coverage）描述一个推荐系统对物品长尾的发掘能力。覆盖率有不同的定义方法， 最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。

多样性：

用户的兴趣是广泛的，在一个视频网站中，用户可能既喜欢看《猫和老鼠》一类的动画片， 也喜欢看成龙的动作片。那么，为了满足用户广泛的兴趣，推荐列表需要能够覆盖用户不同的兴 趣领域，即推荐结果需要具有多样性。

![20191210164431685.png][]

![20191210164512694.png][]

除了以上的几个指标意外还有新颖性、精细度、信任度、实时性、健壮性、商业目的。个人觉得这些是推荐系统后期优化比较在意的指标，所以这里不做详细的了解了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191210160913927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191210161832517.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191210162709449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU3NTAyMA==,size_16,color_FFFFFF,t_70
[20191210164431685.png]: https://img-blog.csdnimg.cn/20191210164431685.png
[20191210164512694.png]: https://img-blog.csdnimg.cn/20191210164512694.png