学习笔记2 | 机器学习实战（Harrington）

雨点打透心脏的1/2处 2023-06-18 14:53 26阅读 0赞

## 第二章 k-近邻算法 ##

> **本章主要内容**  
> 1 k-近邻分类算法  
> 2 从文本文件中解析和导入数据  
> 3 使用Matplotlib创建扩散图  
> 4 归一化数值

#### k-近邻算法（kNN）概述 ####

> **k-近邻算法**  
> 优点：精度高、对异常值不敏感、无数据输入假定  
> 缺点：计算复杂度高、空间复杂度高  
> 使用数据范围：数值型和标称型

**工作原理**：

*  训练样本集每个数据都存在标签，即数据与所属分类的对应关系
 *  输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征比较
 *  提取样本集中特征最相似数据（最近邻）的分类标签
 *  k的来历：一般只选择样本数据集中前k个最相似的数据，k通常是不大于20的整数

**举例**：比如用电影中的亲吻次数和打斗次数来判定未分类的电影属于爱情片还是动作片，可以在二维图像根据上述两种数据中画出未知电影的相对位置，并通过计算该电影与其他电影的图上距离来判定该电影的分类。

> **k-近邻算法的一般流程**  
> （1）收集数据：可以使用任何方法  
> （2）准备数据：距离计算所需的数值，最好是结构化的数学格式  
> （3）分析数据：可以使用任何方法  
> （4）训练算法：此步骤不适用于该算法  
> （5）测试算法：计算错误率  
> （6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

#### k-近邻算法（kNN）具体步骤 ####

**（1）准备：使用python导入数据**

*  首先创建代码为此的python文件  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70][]
 *  打开系统命令提示符，做以下操作，验证是否正确定义了变量  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 1][]

**（2）实施kNN分类算法**

> **k-近邻算法的伪代码**  
> 对未知类别属性的数据集中的每个点依次执行以下操作  
> （1）计算已知类别数据集中的点与当前点之间的距离  
> （2）按照距离递增次序排序  
> （3）选取与当前点距离最小的k个点  
> （4）确定前k个点所在类别的出现频率  
> （5）返回前k个点出现频率最高的类别作为当前点的预测分类

*  k-近邻算法的源代码：

> 需要注意的是！ 我的版本是python3.7 版本较高，需要将下图倒数第三行的 iteritems 改成 items，否则会报错：AttributeError: ‘dict’ object has no attribute ‘iteritems’

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 2][]

*  用命令提示符预测数据所在分类  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 3][]

到此，一个简单的分类器就做好了，下面将用改进约会网站配对效果的例子来进一步学习k-邻近算法在现实中的用途。

--------------------

#### 示例：使用k-近邻算法改进约会网站配对效果 ####

> **示例：在约会网站上使用kNN**  
> （1）收集数据：提供文本文件  
> （2）准备数据：使用Python解析文本文件  
> （3）分析数据：使用Matplotlib画二维扩散图  
> （4）训练算法：不必  
> （5）测试算法：使用提供的部分数据作为测试样本  
> （测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。  
> （6）使用算法：产生简单的命令行程序，然后输入一些特征数据以判断对方是否为自己喜欢的类型

**（1）准备数据：从文本文件中解析数据**

*  样本数据的特征主要有三个
    
     *  每年获得的飞行常客里程数
     *  玩视频游戏所耗时间百分比
     *  每周消费的冰淇淋公升数
 *  在kNN.py中创建file2matrix函数来处理输入格式问题，该函数输入为文件名字字符串，输出为训练样本矩阵和类标签向量  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 4][]
 *  在命令提示符里面输入命令使函数读取文件数据

> 注意！文件datingTestSet2.txt必须在工作目录中，BUT!!!不知道是抽了什么风，即使在同一个目录文件下，我在执行时，死活找不到txt，一直报错：FileNotFoundError: \[Errno 2\] No such file or directory: ‘xxx.txt’  
> 解决方法：用管理员身份运行cmd，并且直接在cmd里面输入filename的绝对路径。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 5][]

*  关于NumPy数组和Python数组：书中将大量使用NumPy数组，可直接在Python命令行环境中输入from numpy import array将其导入，也可以通过直接导入NumPy库内容来将其导入。 由于Numpy库提供的数组操作并不支持Python自带的数组类型，因此在编写代码时要注意不要使用错误的数组类型

**（2）分析数据：使用Matplotlib创建散点图**

*  首先用Matplotlib制作原始数据散点图，在python命令行环境中输入命令  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 6][]
 *  可以得到散点图  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 7][]
 *  由于没有使用样本分类的特征值，很难从图中看到有效信息，可以使用Matplotlib的scatter函数个性化标记散点图  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 9][]

**（3）准备数据：归一化数值**

*  当要输入数据计算预测值钰其他样本数据的距离时，会发现上述三个元素中 飞机里程数的差对结果的影响最大，原因仅为飞机里程数值最大，这样的结果是不合理的所以需要归一化数值：autoNorm（）函数，其中归一化的公式为：newValue=(oldValue-min)/(max-min)  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 10][]
 *  在命令行提示符中执行autoNorm函数  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 11][]

**（4）测试算法：作为完整程序验证分类器**

*  通常用训练集90%的数据训练，10%测试，其中10%必须是随机选择的，而不是排序过的。
 *  代码中需要定义计数器变量来记录错误率，即每分错一次+1.
 *  为了测试分类器效果，要在kNN.py中定义以下函数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 12][]

> 注意！Python 解决 ：NameError: name ‘reload’ is not defined 问题  
> import imp  
> import kNN  
> imp. reload(kNN)  
> 注意！按书上的步骤一直报语法错误，查了才知道python3.7的print语法为 print（“xxxx”），上面的代码需要更改  
> 注意！书上代码有错上述代码中txt应为“datingTestSet**2**.txt”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 13][] ![20191203193304927.png][]

*  书上的错误率为2.4%，但我运行得出的是5%，高了一倍，目前还不知道哪步错了

**（5）使用算法：构建完整可用系统**

*  通过输入信息，程序会给出对对方喜欢程度的预测值  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 14]
 *  在cmd中测试效果

> 注意！书上的python都是2版本，而python3很多都不一样，上面代码中raw\_input（）会报错，python3中应该改成input（）

![在这里插入图片描述][2019120321430892.png]至此，在比较简单的数据上已经成功实践构成了分类器，下一节学复杂数据上使用分类器。

--------------------

#### 示例：手写识别系统 ####

> **示例：使用kNN算法的手写识别系统**  
> （1）收集数据：提供文本文件  
> （2）准备数据：编写函数img2vector()，将图片格式转换为分类器使用的向量格式  
> （3）分析数据：在python命令提示符中检查数据，确保符合要求  
> （4）训练算法：不必  
> （5）测试算法：编写函数使用提供的部分数据集做为测试样本。  
> （6）使用算法：本例未完成此步，有空可以完成完整的系统应用

**（1）准备数据：将图像转换为测试向量**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 15][]  
![在这里插入图片描述][20191203221221749.png]

**（2）测试算法：使用kNN算法识别手写数字**

*  上面已经将数据处理成分类器可以识别的格式，现在要将数据输入到分类器里面，检测效果。
 *  首先要在kNN.py开头写入from os import listdir ，导入该函数可以列出给定目录的文件名  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 16]
 *  在命令提示符中测试  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 17]

> 注意！当文件路径中有转义符歧义时可以把‘\\’改成‘\\’

至此，错误率会被计算出来，但是我的代码里面全是0，错误率也变成0了，肯定时某一步做错了，第二轮的时候看看吧，现在看半天看不出来。

--------------------

## 总结 ##

*  kNN是分类数据最简单最有效的算法，使用算法时必须有接近实际数据的训练样本数据
 *  kNN算法必须保存全部数据集，如果数据集很大，必须使用大量存储空间。
 *  此外，还要对每个数据进行距离计算会非常耗时
 *  另一个缺陷时它无法给出任何数据的基础结构信息，因此也无法知晓平均实例样本和典型实例样本具有什么特征
 *  下一章将学习使用概率测量方法处理分类问题，该算法可解决这个问题。
 *  快乐学习！实践学习！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191203094032371.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191203095136866.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191203101023873.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2019120310332193.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191203170008162.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191203170609364.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191203172459149.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20191203172817552.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20191203180131304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20191203180330286.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/2019120318222867.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20191203183018367.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20191203185032785.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20191203193229562.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[20191203193304927.png]: https://img-blog.csdnimg.cn/20191203193304927.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20191203213546326.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[2019120321430892.png]: https://img-blog.csdnimg.cn/2019120321430892.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20191203221040679.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[20191203221221749.png]: https://img-blog.csdnimg.cn/20191203221221749.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20191203223957910.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20191203224719322.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70