机器学习好伙伴之scikit-learn的使用——验证曲线

朴灿烈づ我的快乐病毒、 2024-04-18 11:15 52阅读 0赞

### 机器学习好伙伴之scikit-learn的使用——验证曲线 ###

*  什么是验证曲线
 *  sklearn中验证曲线的实现
 *  应用示例

什么是验证曲线呢，其内容主要包含当超参数变化时，loss的变化情况。  
![在这里插入图片描述][20190723133055850.jpg_pic_center]

# 什么是验证曲线 #

验证曲线主要反应的是当超参数变化时，模型的训练状况，常用的表示方法是训练集的loss和测试集的loss与超参数之间的关系，其作用是可以帮助我们选择合适的超参数。其示意图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]

# sklearn中验证曲线的实现 #

在进行验证曲线的绘制之前，首先要导入验证曲线的绘制的模块。

from sklearn.model_selection import validation_curve

验证曲线的绘制的重要函数是：

validation_curve(
    	estimator, 
    	X, y, 
    	param_name, 
    	param_range, 
    	groups=None, 
    	cv=’warn’, 
    	scoring=None, 
    	n_jobs=None, 
    	pre_dispatch=’all’, 
    	verbose=0, 
    	error_score=’raise-deprecating’
    )

其常用参数如下：  
**1、estimator：用于预测的模型  
2、X：预测的特征数据  
3、y：预测结果  
4、param\_name：超参数的名称  
5、param\_range：超参数的取值范围  
6、cv：交叉验证生成器或可迭代的次数  
7、scoring：调用的方法  
可进行的scoring方式具体可以查阅**[https://scikit-learn.org/stable/modules/model\_evaluation.html\#scoring-parameter][https_scikit-learn.org_stable_modules_model_evaluation.html_scoring-parameter]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]  
使用方式如下：

# 从1e-6到1e-2次方，分五段
    param_range = np.logspace(-6, -2, 5)
    
    #使用validation_curve快速找出参数对模型的影响
    train_loss, test_loss = validation_curve(
        SVC(), X, y, param_name='gamma', 
        param_range=param_range, cv=10, scoring='neg_mean_squared_error')

代表使用SVM的分类模型，输入特征为X，输出label为y，进行10折交叉验证，通过均值平方差的方式计分，学习曲线分为5段，进行绘制的超参数是gamma，选取的范围是param\_range。  
其一共具有2个返回值，分别是train\_loss, test\_loss，其中train\_loss指的是训练集的loss，其shape为(5,10)，第n行对应学习曲线的第n段，第n行的内容代表着第n段的10折交叉验证的结果；test\_loss的含义与train\_loss类似，其对应的是测试集的loss。

# 应用示例 #

代码源自[莫烦python教学网站][python]

# 验证曲线模块
    from sklearn.model_selection import validation_curve 
    # 导入digits数据集
    from sklearn.datasets import load_digits 
    # 支持向量机
    from sklearn.svm import SVC 
    import matplotlib.pyplot as plt
    import numpy as np
    
    digits = load_digits()
    X = digits.data
    y = digits.target
    
    # 建立参数测试集
    # 从1e-6到1e-2次方，分五段
    param_range = np.logspace(-6, -2, 5)
    
    #使用validation_curve快速找出参数对模型的影响
    train_loss, test_loss = validation_curve(
        SVC(), X, y, param_name='gamma', param_range=param_range, cv=10, scoring='neg_mean_squared_error')
        
    # loss值为负数，需要取反
    train_loss_mean = -np.mean(train_loss, axis=1)
    test_loss_mean = -np.mean(test_loss, axis=1)
    
    # 设置样式与label
    plt.plot(param_range, train_loss_mean, 'o-', color="r",
             label="Training")
    plt.plot(param_range, test_loss_mean, 'o-', color="g",
            label="Cross-validation")
    
    plt.xlabel("Training examples")
    plt.ylabel("Loss")
    # 显示图例
    plt.legend(loc="best")
    plt.show()

实验结果为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]

[20190723133055850.jpg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/610d7e32fdbd4682b64866a1ea483e75.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4977ec790f1540dba1ad74617f2db2b0.png
[https_scikit-learn.org_stable_modules_model_evaluation.html_scoring-parameter]: https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f3c256cd000d4ff4acf9ff6323c0b629.png
[python]: https://morvanzhou.github.io/tutorials/machine-learning/sklearn/3-2-cross-validation1/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/979b3fec068244879d8c5e6964d03781.png