机器学习好伙伴之scikit-learn的使用——学习曲线

ゝ一世哀愁。 2024-04-18 11:13 64阅读 0赞

### 机器学习好伙伴之scikit-learn的使用——学习曲线 ###

*  什么是学习曲线
 *  sklearn中学习曲线的实现
 *  应用示例

什么是学习曲线呢，其内容主要包含当训练量增加时，loss的变化情况。  
![在这里插入图片描述][20190723133055850.jpg_pic_center]

# 什么是学习曲线 #

学习曲线主要反应的是学习的一个过程，常用的表示方法是训练集的loss和测试集的loss与训练量之间的关系。其示意图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]

# sklearn中学习曲线的实现 #

在进行学习曲线的绘制之前，首先要导入学习曲线的绘制的模块。

from sklearn.model_selection import learning_curve

学习曲线的绘制的重要函数是：

learning_curve(
    	estimator, 
    	X, y, 
    	train_sizes=array([0.1, 0.325, 0.55, 0.775, 1. ]), 
    	cv=None, 
    	scoring=None, 
    	exploit_incremental_learning=False, 
    	n_jobs=1, 
    	pre_dispatch='all', 
    	verbose=0
    )

其常用参数如下：  
**1、estimator：用于预测的模型  
2、X：预测的特征数据  
3、y：预测结果  
4、train\_sizes：训练样本相对的或绝对的数字，这些量的样本将会生成learning curve，当其为\[0.1, 0.325, 0.55, 0.775, 1. \]时代表使用10%训练集训练，32.5%训练集训练，55%训练集训练，77.5%训练集训练100%训练集训练时的分数。  
5、cv：交叉验证生成器或可迭代的次数  
6、scoring：调用的方法  
可进行的scoring方式具体可以查阅**[https://scikit-learn.org/stable/modules/model\_evaluation.html\#scoring-parameter][https_scikit-learn.org_stable_modules_model_evaluation.html_scoring-parameter]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]  
使用方式如下：

train_sizes, train_loss, test_loss = learning_curve(
        SVC(gamma=0.01), X, y, cv=10, scoring='neg_mean_squared_error',
        train_sizes=np.linspace(.1, 1.0, 5))

代表使用SVM的分类模型，输入特征为X，输出label为y，进行10折交叉验证，通过均值平方差的方式计分，学习曲线分为5段。  
其一共具有3个返回值，分别是train\_sizes, train\_loss, test\_loss，其中train\_loss指的是训练集的loss，其shape为(5,10)，第n行对应学习曲线的第n段，第n行的内容代表着第n段的10折交叉验证的结果；test\_loss的含义与train\_loss类似，其对应的是测试集的loss。

# 应用示例 #

代码源自[莫烦python教学网站][python]

# 学习曲线模块
    from sklearn.model_selection import learning_curve 
    # 导入digits数据集
    from sklearn.datasets import load_digits 
    # 支持向量机
    from sklearn.svm import SVC 
    import matplotlib.pyplot as plt
    import numpy as np
    
    digits = load_digits()
    X = digits.data
    y = digits.target
    
    # neg_mean_squared_error代表求均值平方差
    train_sizes, train_loss, test_loss = learning_curve(
        SVC(gamma=0.01), X, y, cv=10, scoring='neg_mean_squared_error',
        train_sizes=np.linspace(.1, 1.0, 5))
    
    # loss值为负数，需要取反
    train_loss_mean = -np.mean(train_loss, axis=1)
    test_loss_mean = -np.mean(test_loss, axis=1)
    
    # 设置样式与label
    plt.plot(train_sizes, train_loss_mean, 'o-', color="r",
             label="Training")
    plt.plot(train_sizes, test_loss_mean, 'o-', color="g",
            label="Cross-validation")
    
    plt.xlabel("Training examples")
    plt.ylabel("Loss")
    # 显示图例
    plt.legend(loc="best")
    plt.show()

实验结果为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]  
如上图所示的训练结果存在过拟合的现象。  
调整GAMMA = 0.001后过拟合现象消失，Cross-validation不再上升。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 3]

[20190723133055850.jpg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4c3bfc30cdc2436ba6143ccf96490937.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e1b6af0cd895432097afdba3296361b6.png
[https_scikit-learn.org_stable_modules_model_evaluation.html_scoring-parameter]: https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9d8061bb62614ef1a387dd235334290c.png
[python]: https://morvanzhou.github.io/tutorials/machine-learning/sklearn/3-2-cross-validation1/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/b8edeffaafd649aa8be61e10a360f59c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/eebc0bbe3e15479caea673794a9e2de1.png