kmeans聚类选择最优K值python实现

今天药忘吃喽~ 2024-04-17 06:17 82阅读 0赞

Kmeans算法中K值的确定是很重要的。

### **下面利用python中sklearn模块进行数据聚类的K值选择** ###

数据集自制数据集，格式如下：

![af46a97dee2c636b1f2ac32634b59a5d.jpeg][]

维度为3。

### **①手肘法** ###

手肘法的核心指标是SSE(sum of the squared errors，误差平方和)，

![e8d75fd869649a1dea52b29b31387c75.png][]

其中，Ci是第i个簇，p是Ci中的样本点，mi是Ci的质心（Ci中所有样本的均值），SSE是所有样本的聚类误差，代表了聚类效果的好坏。

手肘法的核心思想是：随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且，当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。当然，这也是该方法被称为手肘法的原因。

**python代码：**

import pandas as pd
    import numpy as np
    from sklearn.cluster import KMeans
    import matplotlib.pyplot as plt
    import xlrd
     
    # 从Excel中读取数据存入数组
    rawData = xlrd.open_workbook('kmeansdata.xlsx')
    table = rawData.sheets()[0]
    data = []
    for i in range(table.nrows):
        if i == 0:
            continue
        else:
            data.append(table.row_values(i)[1:])
    featureList = ['Age', 'Gender', 'Degree']
    mdl = pd.DataFrame.from_records(data, columns=featureList)
     
    # '利用SSE选择k'
    SSE = []  # 存放每次结果的误差平方和
    for k in range(1, 9):
        estimator = KMeans(n_clusters=k)  # 构造聚类器
        estimator.fit(np.array(mdl[['Age', 'Gender', 'Degree']]))
        SSE.append(estimator.inertia_)
    X = range(1, 9)
    plt.xlabel('k')
    plt.ylabel('SSE')
    plt.plot(X, SSE, 'o-')
    plt.show()

**效果图：**

![7dd06c8eb1faa1aceed4ef6abf0514fd.png][]

显然，肘部对于的k值为3，故对于这个数据集的聚类而言，最佳聚类数应该选3。

### **②轮廓系数法** ###

该方法的核心指标是轮廓系数（Silhouette Coefficient），某个样本点Xi的轮廓系数定义如下：

![d734a7a3ced534dd3abf9f4a049b3509.png][]

其中，a是Xi与同簇的其他样本的平均距离，称为凝聚度，b是Xi与最近簇中所有样本的平均距离，称为分离度。而最近簇的定义是

![d8c0dacaf9159ae4667bec331369e53e.png][]

其中p是某个簇Ck中的样本。事实上，简单点讲，就是用Xi到某个簇所有样本平均距离作为衡量该点到该簇的距离后，选择离Xi最近的一个簇作为最近簇。

求出所有样本的轮廓系数后再求平均值就得到了**平均轮廓系数**。平均轮廓系数的取值范围为\[-1,1\]，且簇内样本的距离越近，簇间样本距离越远，平均轮廓系数越大，聚类效果越好。那么，很自然地，平均轮廓系数最大的k便是最佳聚类数。

**python代码：**

import pandas as pd
    import numpy as np
    from sklearn.cluster import KMeans
    from sklearn.metrics import silhouette_score
    import matplotlib.pyplot as plt
    import xlrd
     
    # 从Excel中读取数据存入数组
    rawData = xlrd.open_workbook('kmeansdata.xlsx')
    table = rawData.sheets()[0]
    data = []
    for i in range(table.nrows):
        if i == 0:
            continue
        else:
            data.append(table.row_values(i)[1:])
    featureList = ['Age', 'Gender', 'Degree']
    mdl = pd.DataFrame.from_records(data, columns=featureList)
     
     
    Scores = []  # 存放轮廓系数
    for k in range(2, 9):
        estimator = KMeans(n_clusters=k)  # 构造聚类器
        estimator.fit(np.array(mdl[['Age', 'Gender', 'Degree']]))
        Scores.append(silhouette_score(np.array(mdl[['Age', 'Gender', 'Degree']]), estimator.labels_, metric='euclidean'))
    X = range(2, 9)
    plt.xlabel('k')
    plt.ylabel('轮廓系数')
    plt.plot(X, Scores, 'o-')
    plt.show()

**效果图：**

![8f2856caa2dfdcfebf6476c9ce518c76.png][]

可以看到，轮廓系数最大的k值是3，这表示我们的最佳聚类数为3。

**说明：建议比较两个方法选出的K值，如果没有特殊情况的话，建议首先考虑用手肘法。**

**参考资料：**[https://blog.csdn.net/qq\_15738501/article/details/79036255][https_blog.csdn.net_qq_15738501_article_details_79036255]

[af46a97dee2c636b1f2ac32634b59a5d.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/a98150623f7a496785a615d623227126.jpeg
[e8d75fd869649a1dea52b29b31387c75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/459f3360c9cd4f5ab86f207219a20459.png
[7dd06c8eb1faa1aceed4ef6abf0514fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/3c7e634a9c4b408ebc3a47869d117b6b.png
[d734a7a3ced534dd3abf9f4a049b3509.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/0a12cc2e576349b38ab247369bd67773.png
[d8c0dacaf9159ae4667bec331369e53e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/89838c19f142467d9c23357e69e7313a.png
[8f2856caa2dfdcfebf6476c9ce518c76.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/26dbc8d9b0d64ae180717b844103f25c.png
[https_blog.csdn.net_qq_15738501_article_details_79036255]: https://blog.csdn.net/qq_15738501/article/details/79036255