线性回归（二）岭回归

以你之姓@ 2024-04-19 10:04 100阅读 0赞

一、岭回归  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]  
这个即我们通过最小二乘法求出来的w ，但是求出来的矩阵可能存在一个问题，即X可能不是满秩矩阵（即变量之间存在着多重共线性），此时求出来的 ( X T X ) (X^\{T\}X) (XTX)可能也是非满秩的，(即 ( X T X ) (X^\{T\}X) (XTX)可能不可逆 )，即w可能无法求出解。或者存在多个无穷个解使得w满足最小误差。这里补充一个矩阵求逆的方法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]  
设同理设一组变量a,b,c,d：  
![在这里插入图片描述][20190917003129226.png]  
求解方程组：  
![在这里插入图片描述][20190917003223376.png]  
![在这里插入图片描述][20190917003250189.png]  
所以当矩阵非满秩时求出来的，逆矩阵是不唯一的。（可逆的定义为 A ∗ A ( − 1 ) A\*A^(-1) A∗A(−1)=E,矩阵满秩是矩阵可逆的必要不充分条件。）

所以如果矩阵是**非满秩**的，求出来的**w**也是向量也是不确定的，可能有一个或者多个。  
由于x是非满秩的所以代表各个变量之间可能存在多重共线性，而多重共线性造成的后果便是过拟合，即w中有的系数有的过大（可能会达到几千等等），为此在损失函数中加入λ，来控制w变得过大，即![在这里插入图片描述][2019091723133687.png]  
2、模型推导  
岭回归其实就是在损失函数上加上了一个 L2 正则，使得每个变量的权重不会太大。当某些特征权重比较大的时候，自变化变化一点点，就会导致因变量变化很大，使得方差变大，有过拟合风险。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]  
可以看出，经过λ的加入，使得可逆矩阵变为 x T X + λ E x^\{T\}X+λE xTX\+λE，是成为非满秩的概率大大下降，减小了多重共线性的影响。  
岭回归的性质：  
①岭回归是w的有偏估计  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]  
②w(λ)的模小于w,即w(λ)在一定程度上抑制了过拟合。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]  
③存在某一个λ，使得它所对应的的MSE（估计向量的均方误差）<最小二乘法对应估计向量的的MSE。即存在λ>0，使得  
![在这里插入图片描述][2019091723463762.png]  
理解：求出来的各个系数 β i β\_i βi的分布变化很小，小于最小二乘的 β i β\_i βi的分布方差，即方差很小。但是由于β（k）是有偏的会增大损失函数（即β（k）会偏离真实值，且k越大，其偏离真实偏离的越厉害。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]  
并且从图中也可以看出，由于系数β向原点靠近了，所以各个系数都被压缩了，其整体的方差小于最小二乘估计的方差。  
④当岭参数λ趋向更大时，岭回归系数β估计趋向于0。—为了使损失函数极小整体极小，比如让所有系数极小。  
求解方法2：梯度下降法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1c5ed171037045209f23be7937336df8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2ee1029e6c4a459bbaa8b7f8dab9d9fc.png
[20190917003129226.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e370f8ef578e4aadbe32d4011dd4efbc.png
[20190917003223376.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9a7182d920274fa58e04acb50aed62a4.png
[20190917003250189.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/115cf210c6174aab8308860d9a34d9ed.png
[2019091723133687.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/cf94bc06eb014f5a94d6ab7a6b71b396.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e09b5c8fa0f8421e920d545a42a73635.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c321aa74e0f5405eaf3831aa16285d2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/27e6686ed8974811b38a11baeb5529ee.png
[2019091723463762.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/a413f2000b1e49fc9c2a331882f0befa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/a6f3e6fc08524c69b687e48e061bd102.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/254fe5b686c348e59d7e1f5fe9968295.png