【机器学习笔记】Regularization : Ridge Regression（岭回归）

怼烎@ 2023-05-29 05:27 12阅读 0赞

**要点总览**

*  线性回归，即最小二乘法，它的目的是最小化残差平方的总和。
 *  而岭回归需要在此基础上增加 lambda x 所有参数的平方之和（如斜率等，除y轴截距外），这部分被称为岭回归补偿（Ridge Regression Penalty）。
 *  lambda值（也叫调整参数，tuning parameter）可以由0到正无穷，随着lambda值的增大，我们预测的Size随着Weight的变化会越来越小。
 *  我们可以通过交叉验证，尤其是十折交叉验证（10-fold Cross Validation）来决定哪一个lambda值可以得到最小的方差（Variance）。
 *  在上述例子中，横轴和竖轴都是连续变量，但除此之外，岭回归还可以对离散变量起作用。
 *  岭回归还可被用于两个参数以上的复杂模型。
 *  岭回归最酷的事情来了！

--------------------

知识补充一：[https://blog.csdn.net/Ha1f\_Awake/article/details/102895232][https_blog.csdn.net_Ha1f_Awake_article_details_102895232]

**比起简单的线性回归，岭回归会寻找一条不完全匹配训练模型的直线，也就是存在一定的偏差（Bias），但对于测试模型来说，数据集的方差（Variance）会大幅下降。**

**换言之，岭回归通过在开始时减少一定的匹配程度，以达到更好的预测效果。**

**网上找到的解释是：岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 1][]

### **线性回归，即最小二乘法，它的目的是最小化残差平方的总和。** ###

### 而岭回归需要在此基础上增加 lambda x **所有参数的平方之和（如斜率等，除y轴截距外），这部分被称为岭回归补偿（Ridge Regression Penalty）**。 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 2][]

知识补充二：[https://blog.csdn.net/Ha1f\_Awake/article/details/102900491][https_blog.csdn.net_Ha1f_Awake_article_details_102900491]

### lambda值（也叫调整参数，tuning parameter）可以由0到正无穷，随着lambda值的增大，我们预测的Size随着Weight的变化会越来越小。 ###

**那么我们如何确定lambda的取值？**

### **我们可以通过交叉验证，尤其是十折交叉验证（10-fold Cross Validation）来决定哪一个lambda值可以得到最小的方差（Variance）。** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 3][]

### **在上述例子中，横轴和竖轴都是连续变量，但除此之外，岭回归还可以对离散变量起作用。** ###

**对于线性回归来说，在下面的等式中，y轴截距的数值等于Normal Diet对应的Size的平均值；斜率的数值等于High Fat Diet对应的Size的平均值与Normal Diet的对应平均值之差（之后将这个差值称为offset）。**

**当用岭回归来决定y轴截距和斜率的数值时，岭回归补偿值等于 lambda x offset²。**

**当lambda=0时，会得到与线性回归相同的方程；**

**当lambda值增大时，只有一种方法可以最小化岭回归补偿值，那就是减少offset的值。换言之，当lambda值增大时，我们对High Fat Diet 的Size值的预测与offset的相关性会越来越小。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 4][]

### 岭回归还可被用于两个参数以上的复杂模型。 ###

**与此同时，岭回归补偿值也会发生变化，它会包含除y轴截距以外的所有参数的平方之和。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 5][]

### **岭回归最酷的事情来了！** ###

**二维坐标中有两个变量，根据两点确定一直线，我们至少需要两个点来得出最小二乘法的解决方案；在三维坐标中有三个变量，根据三点确定一个面，我们至少需要三个点来得出****最小二乘法的解决方案；四维、五维...如此类推**

**但如果我们的测试数据少于，甚至远少于参数的个数，如何得到一个解决方案？**

**—— 这时候岭回归带着交叉验证站了出来。**

**（未完待续）**

[https_blog.csdn.net_Ha1f_Awake_article_details_102895232]: https://blog.csdn.net/Ha1f_Awake/article/details/102895232
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191104200917318.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191104200954537.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191104201543157.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_Ha1f_Awake_article_details_102900491]: https://blog.csdn.net/Ha1f_Awake/article/details/102900491
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191105085231702.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191105090355973.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191105091305717.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhMWZfQXdha2U=,size_16,color_FFFFFF,t_70