数据挖掘领域十大经典算法之—K-邻近算法/kNN（附代码）

「爱情、让人受尽委屈。」 2021-09-16 09:24 340阅读 0赞

又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。

**简介**

又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。

**基本思想**

kNN的思想很简单：在训练集中选取离输入的数据点最近的k个邻居，根据这个k个邻居中出现次数最多的类别(最大表决规则)，作为该数据点的类别。kNN算法中，所选择的邻居都是已经正确分类的对象。

e.g：下图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形?如果k=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果k=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

![20180910045612995.png][]

**算法复杂度**

kNN是一种lazy-learning算法，分类器不需要使用训练集进行训练，因此训练时间复杂度为0;kNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么kNN的分类时间复杂度为O(n);因此，最终的时间复杂度是O(n)。

**优缺点**

**优点**

理论成熟，思想简单，既可以用来做分类也可以用来做回归 ;

适合对稀有事件进行分类(例如：客户流失预测);

特别适合于多分类问题(multi-modal,对象具有多个类别标签，例如：根据基因特征来判断其功能分类)， kNN比SVM的表现要好。

**缺点**

当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数;

计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点;

可理解性差，无法给出像决策树那样的规则。

**代码**

代码已在github上实现，这里也贴出来

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1][]

我这里给大家准备了一些学习资料，大家需要的话可以加我QQ：3300863615  免费领取 哦

![70][]

[20180910045612995.png]: http://www.raincent.com/uploadfile/2018/0910/20180910045612995.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1]: /images/20210724/18c92a72959e44c78f1b6b797def647b.png
[70]: /images/20210724/5f1d40106e7a473d9d278f68116d8852.png

发表评论取消回复

表情：

评论列表（有 0 条评论，340人围观）

还没有评论，来说两句吧...

相关阅读

相关数据挖掘领域十大经典算法之—SVM算法（超详细附代码）

> 相关文章： > > [数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）][C4.5] > [数据挖掘领域十大经典算法之—K-Means算法（超详细附代

た入场券/ 2022年05月30日 08:17/ 0 赞/ 176 阅读

相关数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码）

> 相关文章： > > [数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）][C4.5] > [数据挖掘领域十大经典算法之—K-Means算法（超详细附代

左手的ㄟ右手/ 2022年05月30日 08:14/ 0 赞/ 146 阅读

相关数据挖掘领域十大经典算法之—CART算法（超详细附代码）

> 相关文章： > > [数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）][C4.5] > [数据挖掘领域十大经典算法之—K-Means算法（超详细附代

秒速五厘米/ 2022年05月30日 06:55/ 0 赞/ 214 阅读

相关数据挖掘领域十大经典算法之—K-邻近算法/kNN（超详细附代码）

> 相关文章： > > [数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）][C4.5] > [数据挖掘领域十大经典算法之—K-Means算法（超详细附代

客官°小女子只卖身不卖艺/ 2022年05月30日 05:58/ 0 赞/ 160 阅读

相关数据挖掘领域十大经典算法之—K-Means算法（超详细附代码）

> 相关文章： > > [数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）][C4.5] > [数据挖掘领域十大经典算法之—SVM算法（超详细附代码）][

缺乏、安全感/ 2022年05月30日 05:57/ 0 赞/ 183 阅读

相关数据挖掘领域十大经典算法之—EM算法

首先都有参考两篇文章： http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html http://b

男娘i/ 2022年05月14日 14:23/ 0 赞/ 339 阅读

相关数据挖掘领域十大经典算法之—SVM算法（超详细附代码）

简介 SVM(Support Vector Machine)中文名为支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及

我不是女神ヾ/ 2022年05月14日 14:23/ 0 赞/ 243 阅读

相关数据挖掘领域十大经典算法之—K-Means算法（超详细附代码）

简介又叫K-均值算法，是非监督学习中的聚类算法。基本思想 k-means算法比较简单。在k-means算法中，用cluster来表示簇；容易证明k-means算法

以你之姓@/ 2022年05月14日 14:23/ 0 赞/ 156 阅读

相关数据挖掘领域十大经典算法之—K-邻近算法/kNN（超详细附代码）

简介又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。基本思想 kNN的思想很简单：在训练集中选取离输入的数据点最

╰半夏微凉°/ 2022年05月14日 14:23/ 0 赞/ 159 阅读

相关数据挖掘领域十大经典算法之—K-邻近算法/kNN（附代码）

又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。简介又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已

「爱情、让人受尽委屈。」/ 2021年09月16日 09:24/ 0 赞/ 341 阅读