基于hadoop生态系统的mahout推荐和聚类分析（1）

今天药忘吃喽~ 2022-05-13 01:46 245阅读 0赞

### 简介 ###

hadoop是Apache旗下的一个开源分布式计算平台，在分布式环境下为用户提供处理海量数据的能力。

mahout是hadoop下的一个子项目，主要用于推荐、分类和聚类分析

### **一、推荐** ###

关于推荐的算法有很多，本次主要介绍协同过滤算法。

**（1）基于用户的协同过滤算法（UserCF）**

UserCF是推荐算法中最古老的算法，可以说，UserCF的诞生标志着推荐系统的诞生，该算法在1992年被提出的，但直到现在依然是推荐系统领域最著名的算法。

UserCF符合人们对于趣味相投的认知，兴趣相似的用户往往有相同的物品喜好，当目标用户需要个性化推荐的时候，可以先找到和目标用户有相似兴趣的用户群体，然后将这个用户群体喜欢的，而目标用户没有听说过的物品推荐给该用户，这种方法就被称为基于用户的协同过滤。

下面举一个例子：

![70][]

由上图可以看出用户A和用户C都喜欢物品A和物品C，因此认为这两个用户是相似用户，并将用户A没有接触过但用户C喜欢的物品D推荐给用户A，这就是UserCF的推荐原理。

在大家简单了解了UserCF之后，也一定会看出此算法的关键步骤就是计算用户与用户之间的兴趣相似度，因为在实际应用中，用户数据都是百万、千万甚至上亿级，所以也就不可能再像上图这样简单分析了，这时就要用到相似度算法，在此就不做深入讲解了，有兴趣的同学可以自行查阅.(常用的相似度算法：曼哈顿距离(Manhatten)、欧氏距离(Euclidean)、余弦相似度等)

**（2）基于物品的协同过滤算法（ItemCF）**

ItemCF是业界使用最多的推荐算法，亚马逊其推荐系统的基础使用的就是ItemCF。

ItemCF是给目标用户推荐和他们之前喜欢的物品相似的物品。该算法并不利用物品的内容属性计算物品之间的相似度，而是主要通过分析用户的行为记录来计算物品之间的相似度。

该算法基于的假设是：物品A和物品B具有很大的相似度是因为喜欢A物品的大多数用户也都喜欢物品B。

下面举一个例子：

![70][]

这和上面呢个同一个例子。首先用户A和用户C都喜欢物品A和物品C，这样就认为物品A和物品C是相似的，所以在用户A喜欢物品A时，就将物品C推荐给他，这就是基于物品协同过滤的原理。

在计算物品相似度方面，与UserCF不同，ItemCF计算物品相似度是通过建立用户到物品倒排表来计算的。

### **总结：** ###

UserCF算法推荐的是那些和目标用户有着共同爱好的其他用户所喜欢的物品，ItemCF算法则是推荐那些和用户之前喜欢物品相似的其他物品。由此可以看出UserCF是更加偏向于社会化的，ItemCF则是偏向于个性化的。

UserCF算法适合于新闻推荐和微博话题这些场景，推荐新颖度高，但很难对推荐结果做出解释，算法复杂度高。

ItemCF则在电子商务，图书，电影，音乐等方面广泛应用，并可以利用用户的历史记录给推荐结果做出解释，给用户更加信服的结果，但推荐新颖度低，多样性不足。

### **明天我将会给大家演示一个单机版基于物品的协同过滤音乐推荐的小例子。** ###

[70]: /images/20220513/89ed002d80844478ab8a6746bb5023cf.png

发表评论取消回复

表情：

评论列表（有 0 条评论，245人围观）

还没有评论，来说两句吧...

相关阅读

相关 1分钟教你学会如何设置基于mahout的推荐系统？

概念介绍 1.1 推荐系统推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。个性化推

迷南。/ 2022年10月31日 12:23/ 0 赞/ 197 阅读

相关一个基于Mahout与hadoop的聚类搭建

mahout是基于hadoop的数据挖掘工具，因为有了hadoop，所以进行海量数据的挖掘工作显得更为简单。但是因为算法需要支持M/R，所以不是所有常用的数据挖掘算法都会支持

叁歲伎倆/ 2022年10月01日 01:48/ 0 赞/ 1 阅读

相关 Hadoop好友推荐系统-寻找聚类中心

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、前端展示 1、jsp页面 <table>

太过爱你忘了你带给我的痛/ 2022年06月12日 01:54/ 0 赞/ 208 阅读

相关 Hadoop好友推荐系统-执行聚类算法

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、执行聚类算法 1、前端展示 jsp页面 <form id="for

灰太狼/ 2022年06月12日 01:51/ 0 赞/ 263 阅读

相关 mahout基于物品的推荐

《Mahout实战》中对样本规模有一定的推荐建议 ![1][] 机器不能完成人类所有的思维和决策，但在特定条件下，机器可以模仿人的决策，高效地进行分类。分类算法基

矫情吗；*/ 2022年05月26日 05:49/ 0 赞/ 218 阅读

相关 mahout基于用户的推荐

《Mahout实战》第四章基于用户的推荐算法如下： for每个其他用户w 计算用户u和用户w的相似度s 按相似度排序后，将位置靠前的用

我会带着你远行/ 2022年05月26日 03:21/ 0 赞/ 227 阅读

相关 12.4 Mahout与聚类

聚类（k-means）：给事物打标签，寻找同一组内的个体之间的一些潜在的相似模式。力图找到数据的自然分组聚类是一种无监督的机器学习任务它可以自动将数据划分成类clust

逃离我推掉我的手/ 2022年05月15日 07:47/ 0 赞/ 154 阅读

相关基于hadoop生态系统的mahout推荐和聚类分析（1）

简介 hadoop是Apache旗下的一个开源分布式计算平台，在分布式环境下为用户提供处理海量数据的能力。 mahout是hadoop下的一个子项目，主要用于推荐、分类

今天药忘吃喽~/ 2022年05月13日 01:46/ 0 赞/ 246 阅读

相关基于Mahout构建推荐引擎

什么是Mahout? Mahout 是 Apache旗下的一个开源项目，基于由以前的研究人员研究的经典推荐算法，它抽象和实现理论研究成果，将理论知识中的复

ゝ一世哀愁。/ 2022年04月23日 10:12/ 0 赞/ 442 阅读

相关【基于Mahout的个性化推荐系统】1、系统设计

文章目录一、前言二、相关技术介绍 1、Apache Mahout 2、技术介绍三、系统设计

妖狐艹你老母/ 2022年01月27日 01:47/ 0 赞/ 415 阅读