数据分析与AI(八)KNN算法/手写数字识别/切圆形换脸算法

悠悠 2022-05-21 01:52 274阅读 0赞

# K-近邻算法（KNN） #

K-nearest neighbor K-近邻算法  
nearest 相近的  
neighbor 邻居

## 如何进行电影分类 ##

众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格 上的确有可能会和同题材的电影相近。那么动作片具有哪些共有特征，使得动作片之间非常类似， 而与爱情片存在着明显的差别呢？动作片中也会存在接吻镜头，爱情片中也会存在打斗场景，我们 不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。但是爱情片中的亲吻镜头更多，动作片中 的打斗场景也更频繁，基于此类场景在某部电影中出现的次数可以用来进行电影分类。  
本章介绍第一个机器学习算法：K-近邻算法，它非常有效而且易于掌握。

import numpy as np
    import pandas as pd
    from pandas import Series, DataFrame

# ipv6 ipv4
    # xlsx(64) xls(32)
    # HTML .htm
    movie = pd.read_excel('./tests.xlsx', sheet_name=1)
    movie

![这里写图片描述][70]

# 首先对于机器学习来说, 字符串不代表可用数据, 要么转成整数映射类型, 要么不用
    # .map()
    
    # X_train 表示的是训练的数据
    X_train = movie.iloc[:,1:-1]
    # 答案
    y_train = movie.iloc[:,-1:]
    
    display(X_train, Y_train)

![这里写图片描述][70 1]  
![这里写图片描述][70 2]

# 引入机器学习的包
    from sklearn.neighbors import KNeighborsClassifier
    
    # n_neighbors 默认值是5个, 5个周围的样本
    knn = KNeighborsClassifier(n_neighbors=5)
    
    # 开始训练
    knn.fit(X_train, y_train)
    # 结果如下:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')

# 测试集
    new_movie = DataFrame(np.array([['千星之城','50','10'],['僵尸叔叔','100','2'],
                                    ['超时空同居','1','12'],['午夜凶铃','0','0']]),
                         columns=['电影名称','武打镜头','接吻镜头'])
    new_movie

![这里写图片描述][70 3]

# 切片, 拿走没用的数据, 比如电影的名称
    X_test = new_movie.iloc[:,1:]
    X_test

![这里写图片描述][70 4]

# 开始预测数据
    y_test = knn.predict(X_test)
    y_target = Series(y_test, name='分类情况')
    data1 = pd.concat([new_movie,y_target], axis=1)
    data1

![这里写图片描述][70 5]

data = pd.concat([movie, data1], ignore_index=True)
    data

![这里写图片描述][70 6]

# 估算当前分类的准确值
    y = Series(np.array(['动作片','动作片','爱情片','动作片']), name='分类情况')
    knn.score(X_test, y)
    # 结果是: 0.75

## 1、k-近邻算法原理 ##

简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。

*  优点：精度高、对异常值不敏感、无数据输入假定。
 *  缺点：时间复杂度高、空间复杂度高。
 *  适用数据范围：数值型和标称型。

## 工作原理 ##

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据  
与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的  
特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们  
只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常\*K是不大于20的整数。  
最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类\*。  
回到前面电影分类的例子，使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用K-近邻算法来解决这个问题。  
![这里写图片描述][70 7]  
首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图中问号位置是该未知电影出现的镜头数图形化展示，具体数字参见下表。  
![这里写图片描述][70 8]  
即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如图所示。  
![这里写图片描述][70 9]  
现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距  
离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He’s Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。

## 欧几里得距离(Euclidean Distance) ##

欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：  
![这里写图片描述][70 10]

## 2、在scikit-learn库中使用k-近邻算法 ##

*  分类问题：from sklearn.neighbors import KNeighborsClassifier
 *  回归问题：from sklearn.neighbors import KNeighborsRegressor

### 0）一个最简单的例子 ###

我们根据身高、体重、鞋子尺码数据分析性别

# 给机器学习的数据必须是二维的
    X_train = np.array([[180,80,44],[165,50,38],[161,40,36],
                        [170,82,42],[170,52,40],[175,67,42]])
    
    # 目标值是一维的数据
    y_train = np.array(['男','女','女','男','女','男'])
    
    # 先机器学习
    knn.fit(X_train, y_train)
    # 结果如下:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')

# 定义需要预测的数据
    # 心跳, 血糖, 激素, 尿液......
    X_test = np.array([[174,72,43],[163,40,38],[190,80,46]])
    
    y = np.array(['男','女','女'])
    # 开始预测
    y_test = knn.predict(X_test)
    y_test
    # 结果是:array(['男', '女', '男'], dtype='<U1')
    knn.score(X_test , y)
    # 结果是:0.6666666666666666

## 把上面的数据转换成dataframe的 ##

X_train_df = DataFrame(X_train, columns=['身高','体重','鞋码'])
    y_train_df = DataFrame(y_train, columns=['性别'])
    # 先学习
    knn.fit(X_train_df,y_train_df)
    # 结果如下:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')

X_test
    # 结果如下:
    array([[174,  72,  43],
           [163,  40,  38],
           [190,  80,  46]])

knn.predict(X_test)
    # 结果如下: array(['男', '女', '男'], dtype=object)

# 鸢尾花识别 #

## 1）用于分类 ##

导包，机器学习的算法KNN、数据蓝蝴蝶

import sklearn.datasets as datasets
    
    iris = datasets.load_iris()
    # 鸢尾花的特征数据
    data = iris['data']
    # 鸢尾花的对应的样本名称
    target = iris.target
    # 鸢尾花名称
    target_names = iris['target_names']
    # 结果是:array(['setosa', 'versicolor', 'virginica'], dtype='<U10')

### 获取训练样本 ###

# 它的作用是将测试数据和预测数据分开
    from sklearn.model_selection import train_test_split
    nd = np.arange(0,20)
    nd1 = np.arange(30, 50)
    train_test_split(nd,nd1,test_size=0.1)
    # 结果如下:
    [array([ 6,  1, 15,  9, 11, 10,  8, 17, 19, 18,  4, 14,  5,  7, 12,  2,  3,
            13]),
     array([16,  0]),
     array([36, 31, 45, 39, 41, 40, 38, 47, 49, 48, 34, 44, 35, 37, 42, 32, 33,
            43]),
     array([46, 30])]

# 150, 15条预测, 135条学习
    # 将数据分割
    
    X_train, X_test, y_train, y_test = t rain_test_split(data, target, test_size=0.1)
    display(X_train, X_test, y_train, y_test)

# 进行机器学习
    from sklearn.neighbors import KNeighborsClassifier
    knn = KNeighborsClassifier(n_neighbors=15)
    # 机器学习样本
    knn.fit(X_train, y_train)
    # 结果如下:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=15, p=2,
           weights='uniform')

# 预测
    knn.predict(X_test)
    # 结果是:array([2, 1, 1, 2, 0, 2, 1, 1, 1, 2, 2, 1, 0, 2, 0])
    y_test
    # 真实结果:array([1, 1, 1, 2, 0, 2, 1, 1, 1, 2, 2, 1, 0, 2, 0])
    # 进行打分
    knn.score(X_test, y_test)
    # 打分结果:0.9333333333333333

# 人体动作识别 #

练习  
人类动作识别  
步行，上楼，下楼，坐着，站立和躺着

### 练习 ###

人类动作识别  
步行，上楼，下楼，坐着，站立和躺着  
![这里写图片描述][70 11]  
数据采集每个人在腰部穿着智能手机，进行了六个活动（步行，上楼，下楼，坐着，站立和躺着）。采用嵌入式加速度计和陀螺仪，以50Hz的恒定速度捕获3轴线性加速度和3轴(3维空间的XYZ轴)角速度(时间转一圈多少时间)，来获取数据  
我们导入几个包x\_test.npy x\_train.npy y\_test.npy y\_train.npy ,这些都是numpy保存的数据

#### 练习numpy怎么保存数据的 ####

nd = np.random.randint(0,150,size=(5,4))
    nd
    # 结果是:
    array([[124, 144,  78,  63],
           [ 59,  48, 119,  32],
           [115, 115,  88,  87],
           [ 68,   3,  90,  19],
           [ 43,  15,  19, 118]])

# numpy的文件默认尾缀名为.npy
    np.save('./nd_data.npy', nd)
    # 加载npy的文件
    np.load('./nd_data.npy')
    # 结果是:
    array([[124, 144,  78,  63],
           [ 59,  48, 119,  32],
           [115, 115,  88,  87],
           [ 68,   3,  90,  19],
           [ 43,  15,  19, 118]])

导入动作识别的包

# 走 上楼 下楼 坐 站 躺
    label = {
       1:'WALKING',2:'WALKING UPSTAIRS',3:'WALKING DOWNSTAIRS',4:'SITTING',5:'STANDING',6:'LAYING'}
    X_train = np.load('./knn_test/x_train.npy')
    X_train.shape   # 结果:(7352,561)
    # 用图形来表示动作
    import matplotlib.pyplot as plt
    
    plt.plot(X_train[1024])
    plt.title(label[y_train[1024]])
    # label[y_train[0]] ---> STANDING
    # 画出来的图形如下:

![这里写图片描述][70 12]

plt.plot(X_train[1111])
    plt.title(label[y_train[1111]])
    # 画出的图形如下:

![这里写图片描述][70 13]

y_train = np.load('./knn_test/y_train.npy')
    y_train.shape   #结果: (7352,)
    X_test = np.load('./knn_test/x_test.npy')
    X_test.shape    #结果: (2947, 561)
    y_test = np.load('./knn_test/y_test.npy')
    y_test.shape    #结果: (2947,)

# 进行数据训练, 机器学习
    knn = KNeighborsClassifier()
    knn.fit(X_train, y_train)
    # 结果如下:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')

# 开始进行预测 
    y_ = knn.predict(X_test)
    y_   # 结果是:array([5, 5, 5, ..., 2, 2, 1], dtype=int64)
    # 计算打分
    knn.score(X_test, y_test)
    # 打分结果: 0.9015948422124194

# 人的动作对于机器来说就是频率, 只要是频率都可以画图.
    # 将y_预测的数据对比y_test, 将这个答案作为标题
    # reshape(-1) 直接写个-1就直接成1维了
    np.argwhere(y_test == 1).reshape(-1)

plt.figure(figsize=(2*6, 3*5))
    # 用循环来取值
    # 把每个动作的频率图片画出来
    for i in range(6):
        # subplot , 第三个编号不能为0
        axes = plt.subplot(3,2,i+1)
    
        nd_index = np.argwhere(y_test == i+1).reshape(-1)
        # 每个动作只取一个样本
        index = nd_index[np.random.randint(0, nd_index.size, size=1)[0]]
    
        axes.plot(X_test[index])
    
        # 给每张图片添加2个标题, 分别是真实的答案, 预测答案, 但是只能用一个title, 换行
        axes.set_title('True:%s\nPredict:%s' % (label[y_test[index]], label[y_[index]]))

![这里写图片描述][70 14]

[70]: /images/20220521/edb16d8476014fe4813df24a60c30ce9.png
[70 1]: /images/20220521/586d269e10434485ad0f02f7837d4916.png
[70 2]: /images/20220521/3a2cc678d8da4bf792bcf0cb14b8f7de.png
[70 3]: /images/20220521/3177b374a41f4471bdd33f8da711d534.png
[70 4]: /images/20220521/eec7d0f3d7ff42a09c4e4477149c590d.png
[70 5]: /images/20220521/b3d02c97591d43f581063590ba6d687e.png
[70 6]: /images/20220521/d55e14d3487c42adb89493f851ce2669.png
[70 7]: /images/20220521/9773904811ea40d29785451dc5251da8.png
[70 8]: /images/20220521/498a6cd784a84e95863545a9af041ef1.png
[70 9]: /images/20220521/ad4b6d4ef73f4bb2bc518423ebf69557.png
[70 10]: /images/20220521/b8023e6ce1fc45548dbc8f9b28fc1f06.png
[70 11]: /images/20220521/8215c1ac7d354f2cac6b0a6175b40286.png
[70 12]: /images/20220521/b2cdbd78655144da87c13200588ef96b.png
[70 13]: /images/20220521/01e309a7b24441b1b3e6e32986dc7e8d.png
[70 14]: /images/20220521/d3091eface3649a691a6cb9e2ee733a9.png