机器学习-正则化(处理过拟合)

缺乏、安全感 2023-05-22 13:29 53阅读 0赞

## 过拟合（overfitting） ##

在算法的实际应用中，并不是特征值越多越好，假设函数与训练数据集拟合的越完美越好，或者说其代价函数为0,但是在测试数据上的效果就很差了，例如：  
![在这里插入图片描述][20200417230429930.png]  
出现这种情况会使得假设函数预测新的数据变得困难，称之为**过拟合（Overfitting）**，过拟合如下图所示：  
![在这里插入图片描述][20200417230130203.png]

## **为了解决过拟合问题，有以下解决方案：** ##

1.  **减少特征**  
    手动选择需要保留的特征。  
    采取模型选择算法。
2.  **正则化**  
    保留所有参数，但是减少每一个参数θ的值。  
    当我们有很多特征而假设函数依然能够很好的工作，确保每一个特征对预测y值都有所贡献。

## 什么是正则化项？ ##

• 经验风险最小化可以理解为：最小化代价函数  
• 结构风险最小化可以理解为：最小化目标函数（代价函数+正则化项）

首先来看一个图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]  
  这个图是直线拟合好，还是曲线的拟合效果好呢？显然是直线更好，对于曲线的拟合效果就会是过拟合的现象！在上面我们可以看出有四个要确定的参数a,b,c,d,对于d来说如果d越大，那么模型的曲线的弯曲程度就越大，c,d越小就越倾向于直线，所以我们要限制a,b,c,d的大小,防止某一个过大！  
那么我们就要做**正则化**了！

## 正则化方式有： ##

1.  **L1正则化**
2.  **L2正则化**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 1]

## 这里的L2在误差的后面加上了参数的平方和，L1在后面加上了参数绝对值的和。 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 2]**我们是想误差最小，λ来控制参数的权重，一般可以是0~1！ 注解：W是一个矩阵，里面装了很多有待确定的参数，我们就是要优化这里面的参数是参数达到能使误差最小的效果！**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 3]

## 上图是从小圈往大圈的方向进行梯度下降！就是不断优化参数，以求达到误差的最小。上面的梯度下降是因为我们要找到误差最小，那么就在误差的式子上分别对两部分进行梯度下降，找到最小值！！！ ##

**参数范围**

L1：
    |w1|+|w2|<t
    L2：
    |w1^2|+| W2^2|<t

找到交点处，就是误差值最小的点！从图可以看出L1的参数结果往往是\[1,0\],\[0,1\]这样的稀疏矩阵，我们往往可以通过这种方式来选择特征，找出最有用的特征！

## 正则化最终的形式： ##

![在这里插入图片描述][2020041811222076.png]

[20200417230429930.png]: /images/20230521/9aadd7eb00c34ec0b8c767755ee25ffb.png
[20200417230130203.png]: /images/20230521/bccd76e2d1ef4efc83863ab887b55e8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]: /images/20230521/feeca39e4b2a478ab6027b20106720ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 1]: /images/20230521/2a5dd40ff4c04eccba267bd238aab8a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 2]: /images/20230521/a2cb3ccc4085498291411ca0947b5d57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 3]: /images/20230521/28659b4dd49c43198f14287adc36f1eb.png
[2020041811222076.png]: /images/20230521/453c1b4bbd54465ba7d055ca487587d1.png