大数据算法解读

淡淡的烟草味﹌ 2022-08-20 06:24 159阅读 0赞

KNN（K Nearest Neighbors）算法，分类算法

假设你周围两类人，一类人是篮球爱好者，一类人是足球爱好者。如果你是篮球爱好者，你就会和篮球爱好者走的近一点，反之一样。这是KNN的算法出发点。一个未知分类的样本，要知道他是属于哪一类，看它周围的哪类朋友多一点，他就属于这一类。

K均值（K Means）算法，聚类算法

一个公司设计班车站点，在一个城市里选取站点接送员工。假设要设置5(K)个站点，但是不知道具体在什么点设置。后勤人员随机在城市里选取了个5个站点，然后在内部BBS上公布了方案，让员工选取离家最近的一个站点。经过第一轮投票选择，得到每个站点对应的员工群体。

每个群体内的员工都在同一个站点乘车，他们发现，公司给的这个站点位置并不是最优的，于时他们自发内部协商了一个新的、离大家都比较近的（MEANS）、新的站点位置，并通告别给也后勤人员。后勤人员得到经过民主选举的、新的5个站点位置。后勤人员将新的位置在内部BBS宣布，并让所有员工重新选取离家最近的站点位置。

重复上述的步骤，直到员工选择不在产生变化，或者变化量在预设的一个范围之内。这时同一个站点上车的员工就是一个聚类。

频繁集、序列与推荐

频繁集、序列的算法与推荐紧密相关，我们常说推荐算法，从层次上讲应该比聚类、分类、频繁集、序列等更高一个层次的算法。

一提到推荐算法，我们就会想到购物篮的数据挖掘案例，它涉及到频繁集和序列这两种算法，但一般文章里并没有进行很好的进行区分，在某些描述上甚至有点混乱。下面对这两类算法进行一些区分，可以这么说，频繁集相关的算法实现在序列模式发现中一般都会用到，但是他们对应的场景是要严格区分的。

购物篮，购物了牛奶和面包，它们有关系，但哪个在前、哪个在后，并没有必然的关系，研究它们的价值是因为他们一起购物的。

还有一种购物情况，手机和手机套。这两件物品关联性就弱了一点。很大一部分人购物了手机，过了几天才购买手机套；也有一部分人，两件物品同时购买；但很少有人，先把手机套买了，然后再购买手机。本案例中，购买了手机再购买手机套，如果时间比较短，还可以认为是一次购物，那么下面举个例子，情况就不完全一样了。

某一群人，购买了一段奶粉，六个月后购买了二段奶粉，又过了六个月购买了三段奶粉，如果按前面两个例子，购买了一段奶粉时，马上推荐二段奶粉就有点勉强了，如果同时再推荐三段奶粉，就只能是呵呵了。 反过来，如果购买了三段奶粉，推荐二段奶粉，那只能是无语了。

通过上面的描述可见，在推荐领域中，频繁集挖掘与序列模式发现之间存在一个核心的、时间维度的区别。表达频繁集与序列算法发现的对应模式的指标基本是相同的，一个是支持度，一个是置信度。

支持度揭示了A与B出现的概率。如果A与B出现的机率小，说明A、B这些事件是非显著的；如果A与B出现的非常频繁，则说明A、B这些事件具有较高的普遍性，即显著的，也代表后续对AB模式的研究结论将具有较高的普遍性。置信度揭示了A出现时，B有多大概率出现。如果置信度太低，则说明A的出现与B是否出现关系不大。

支持度往往可以看作是衡量一个组合模式是否具有进一步关注价值的指标支持度低的模式即使置信度高可能也不太具有说服力，因为支持这个模式置信度的证据太少，证据不充分；与支持度关注模式整体的显著程度不同，置信度用于衡量这个模式内几个实体间的内聚性和相关性程度。

支持度高但置信度低的例子比比皆是，比如假设女生网购以买衣饰品为主（其实这个假设应该是真的？），我们说“女生买了裙子后会买太阳镜”的支持度高但置信度低，因为女生常卖衣服会拉高支持度，但是购买太阳镜是个动作比较少发生，尤其是和买裙子放在一起，其机率就更低了，所以支持度高但置信度低。

支持度低但置信度高的例子如下，假设我们看到一个中东土豪买了一艘航空母舰后又买了几架战斗机，那么“土豪购买航母又购买战斗机”这个模式就是典型的支持度低但置信度高；因为土豪到购买航母和战斗机玩的可能全世界就这一位主，所以这个模式非常的不显著支持度很低；但也恰恰是只有一个土豪购买过航母，也只有一个土豪购买过战斗机，这还是同个主，所以这两个事件的内聚性、相关性非常高，进而置信度就很高。