Python scikit-learn，分类，K近邻算法，KNN，KNeighborsClassifier

矫情吗；* 2022-03-16 03:50 217阅读 0赞

**K近邻(k-Nearest Neighbor，KNN)分类算法思路：**如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

在计算距离之前，需要对特征值**进行标准化**(避免某个特征的重要性过大或过小)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

**demo.py（分类，K近邻算法应用实例）：**

import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.neighbors import KNeighborsClassifier
    from sklearn.preprocessing import StandardScaler
    
    
    # K近邻算法，预测用户入住哪个酒店
    
    # 读取数据
    data = pd.read_csv("./data/FBlocation/train.csv")
    # print(data.head(3))
    '''
    row_id    x      y    accuracy   time     place_id
       0   0.7941  9.0809    54     470702   8523065628
       1   5.9567  4.7968    13     186555   1757726713
       2   8.3078  7.0407    74     322648   1137537235
    x,y表示入住用户的位置坐标，accuracy表示定位的准确度，time表示入住时间，place_id表示入住的酒店(目标值)
    '''
    
    # 处理数据
    # 1、缩小数据量。 (截取某地理范围内的数据，减少数据量和计算时间，实际应用中可以根据情况忽略这一步)
    data = data.query("x>1.0 & x<1.25 & y>2.5 & y<2.75")  # query()根据条件筛选数据。
    
    # 2、处理时间戳。 (将时间戳字符串转换成年、月、日、周、时、分、秒等的形式)
    time_value = pd.to_datetime(data['time'], unit='s')  # unit转换的最小单位(s：秒)
    print(time_value)
    '''
    600   1970-01-01 18:09:40
    957   1970-01-01 02:11:10
    ...                  ...
    Name: time, Length: 17710, dtype: datetime64[ns]
    '''
    
    # 把日期格式转换成字典格式(方便获取年、月、日、时、分、秒等)
    time_value = pd.DatetimeIndex(time_value)
    
    # 构造一些新特征 (根据情况增加新特征)
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday
    
    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)
    print(data)
    '''
    row_id    x       y    accuracy   day   hour  weekday   place_id
      600   1.2214  2.7023    17       1     18     3      6683426742
      957   1.1832  2.6891    58      10      2     5      6683426742
      4345  1.1935  2.6550    11       5     15     0      6889790653
     ...                                                         ...
    '''
    
    # 3、把入住数量少于n个用户的酒店数据删除
    place_count = data.groupby('place_id').count()
    tf = place_count[place_count.row_id > 3].reset_index()  # bool索引，保留count大于3的数据。 reset_index()表示重新设置索引（从0开始的索引）
    data = data[data['place_id'].isin(tf.place_id)]  # bool索引，保留入住数大于3的数据。（isin()表示是否在）
    
    # 取出数据当中的特征值和目标值
    y = data['place_id']  # 目标值
    x = data.drop(['place_id'], axis=1)  # 特征值 (可以考虑把不相关的row_id数据删除)
    
    # 进行数据的分割。划分训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)  # 25%的数据作为测试集。(推荐0.25)
    
    # 特征工程（特征标准化）
    std = StandardScaler()
    # 对训练集和测试集的特征值进行标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)  # fit()填充数据，transform()转换数据。当填充数据后就不需要重新填充了(不会重新计算均值和标准差)。 标准化使用的均值和标准差取决于fit()填充的数据。
    
    
    # 进行K近邻算法的算法流程
    knn = KNeighborsClassifier(n_neighbors=5)  # 超参数n_neighbors。 可以使用交叉验证和网格搜索GridSearchCV自动进行调参调优。
    
    # fit()，predict()，score()
    # 填充训练集的数据 fit()
    knn.fit(x_train, y_train)  
    
    # 得出预测结果 predict()
    y_predict = knn.predict(x_test)  # 根据测试集的特征得出预测结果。
    print("预测入住的目标酒店为：", y_predict)  # [5035268417, 5261906348, ... , 7084181053, 1812226671]
    
    # 得出预测的准确率 score()
    print("预测的准确率:", knn.score(x_test, y_test))  # 0.405200945626

**K值取很小：**容易受异常点的影响。  **K值取很大：**预测结果波动大准确率低。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220316/ece578f1cf9b46a1a80b31f37582f6e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220316/ed26d1dcaa8447e9a623e7122856a587.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2]: /images/20220316/01622463504f4bb0a978ccfe786dea4c.png