[work*] 机器学习中正则化项L1和L2的直观理解

亦凉 2022-05-10 23:33 132阅读 0赞

# 正则化（Regularization） #

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作**ℓ1ℓ1-norm**和**ℓ2ℓ2-norm**，中文称作***L1正则化***和***L2正则化***，或者***L1范数***和***L2范数***。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1α||w||1即为L1正则化项。

![lasso regression][]

下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22α||w||22即为L2正则化项。

![ridge regression][]

一般回归分析中回归ww表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。**L1正则化和L2正则化的说明如下：**

*  L1正则化是指权值向量ww中各个元素的***绝对值之和***，通常表示为||w||1||w||1
 *  L2正则化是指权值向量ww中各个元素的***平方和然后再求平方根***（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2||w||2

一般都会在正则化项之前添加一个系数，Python中用αα表示，一些文章也用λλ表示。这个系数需要用户指定。

那添加L1和L2正则化有什么用？**下面是L1正则化和L2正则化的作用**，这些表述可以在很多文章中找到。

*  L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
 *  L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

## 稀疏模型与特征选择 ##

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

# L1和L2正则化的直观理解 #

这部分内容将解释***为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的）***，以及***为什么L2正则化可以防止过拟合***。

## L1正则化和特征选择 ##

假设有如下带L1正则化的损失函数：

J=J0+α∑w|w|(1)(1)J=J0+α∑w|w|

其中J0J0是原始的损失函数，加号后面的一项是L1正则化项，αα是正则化系数。注意到L1正则化是权值的**绝对值之和**，JJ是带有绝对值符号的函数，因此JJ是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们在原始损失函数J0J0后添加L1正则化项时，相当于对J0J0做了一个约束。令L=α∑w|w|L=α∑w|w|，则J=J0+LJ=J0+L，此时我们的任务变成**在LL约束下求出J0J0取最小值的解**。考虑二维的情况，即只有两个权值w1w1和w2w2，此时L=|w1|+|w2|L=|w1|+|w2|对于梯度下降法，求解J0J0的过程可以画出等值线，同时L1正则化的函数LL也可以在w1w2w1w2的二维平面上画出来。如下图：

![@图1 L1正则化][1 L1]  
图1 L1正则化

图中等值线是J0J0的等值线，黑色方形是LL函数的图形。在图中，当J0J0等值线与LL图形首次相交的地方就是最优解。上图中J0J0与LL在LL的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)(w1,w2)=(0,w)。可以直观想象，因为LL函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0J0与这些角接触的机率会远大于与LL其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

而正则化前面的系数αα，可以控制LL图形的大小。αα越小，LL的图形越大（上图中的黑色方框）；αα越大，LL的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)(w1,w2)=(0,w)中的ww可以取到很小的值。

类似，假设有如下带L2正则化的损失函数：

J=J0+α∑ww2(2)(2)J=J0+α∑ww2

同样可以画出他们在二维平面上的图形，如下：

![@图2 L2正则化][2 L2]  
图2 L2正则化

二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0J0与LL相交时使得w1w1或w2w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。

## L2正则化和过拟合 ##

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

**那为什么L2正则化可以获得值很小的参数？**

以线性回归中的梯度下降法为例。假设要求的参数为θθ，hθ(x)hθ(x)是我们的假设函数，那么线性回归的代价函数如下：

J(θ)=12m∑i=1m(hθ(x(i))−y(i))2(3)(3)J(θ)=12m∑i=1m(hθ(x(i))−y(i))2

那么在梯度下降法中，最终用于迭代计算参数θθ的迭代式为：

θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(4)(4)θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i)

其中αα是learning rate. 上式是没有添加L2正则化项的迭代公式，如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子：

θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(5)(5)θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))xj(i)

其中**λλ就是正则化参数**。从上式可以看到，与未添加L2正则化的迭代公式相比，每一次迭代，θjθj都要先乘以一个小于1的因子，从而使得θjθj不断减小，因此总得来看，θθ是不断减小的。

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

# 正则化参数的选择 #

## L1正则化参数 ##

通常越大的λλ可以让代价函数在参数为0时取到最小值。下面是一个简单的例子，这个例子来自[Quora上的问答][Quora]。为了方便叙述，一些符号跟这篇帖子的符号保持一致。

假设有如下带L1正则化项的代价函数：

F(x)=f(x)+λ||x||1F(x)=f(x)+λ||x||1

其中xx是要估计的参数，相当于上文中提到的ww以及θθ. 注意到L1正则化在某些位置是不可导的，当λλ足够大时可以使得F(x)F(x)在x=0x=0时取到最小值。如下图：

![@图3 L1正则化参数的选择][3 L1]  
图3 L1正则化参数的选择

分别取λ=0.5λ=0.5和λ=2λ=2，可以看到越大的λλ越容易使F(x)F(x)在x=0x=0时取到最小值。

## L2正则化参数 ##

从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。

# Reference #

过拟合的解释：  
[https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh\_cn/content/chap3/c3s5ss2.html][https_hit-scir.gitbooks.io_neural-networks-and-deep-learning-zh_cn_content_chap3_c3s5ss2.html]

正则化的解释：  
[https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh\_cn/content/chap3/c3s5ss1.html][https_hit-scir.gitbooks.io_neural-networks-and-deep-learning-zh_cn_content_chap3_c3s5ss1.html]

正则化的解释：  
[http://blog.csdn.net/u012162613/article/details/44261657][http_blog.csdn.net_u012162613_article_details_44261657]

正则化的数学解释（一些图来源于这里）：  
[http://blog.csdn.net/zouxy09/article/details/24971995][http_blog.csdn.net_zouxy09_article_details_24971995]

作者：卢健龙  
链接：https://www.zhihu.com/question/38586401/answer/105273125  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

拉格朗日乘数法（Lagrange multiplier）有很直观的几何意义。  
举个2维的例子来说明：  
假设有自变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。

我们可以画出f的等高线图，如下图。此时，约束g=c由于只有一个自由度，因此也是图中的一条曲线（红色曲线所示）。显然地，当约束曲线g=c与某一条等高线f=d1相切时，函数f取得极值。  
两曲线相切等价于两曲线在切点处拥有共线的法向量。因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正比。  
于是我们便可以列出方程组求解切点的坐标(x,y)，进而得到函数f的极值。

![359cdc26e15205e66204bce2b33e4535_hd.jpg][]

作者：戏言玩家  
链接：https://www.zhihu.com/question/38586401/answer/105588901  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

这个可以比较直观的解释。

想象一下，目标函数![f(x,y)][f_x_y]是一座山的高度，约束![g(x,y)=C][g_x_y_C]是镶嵌在山上的一条曲线如下图。（渣画技看看就好了）

![ecf06d062b493f1674bd81d34d3446a8_hd.png][]

你为了找到曲线上的最低点，就从最低的等高线（0那条）开始网上数。数到第三条，等高线终于和曲线有交点了（如上图所示）。因为比这条等高线低的地方都不在约束范围内，所以这肯定是这条约束曲线的最低点了。

而且约束曲线在这里不可能和等高线相交，一定是相切。因为如果是相交的话，如下图所示，那么曲线一定会有一部分在B区域，但是B区域比等高线低，这是不可能的。

![efc7e83116906f8ffebba8b0ab58dcd2_hd.png][]

两条曲线相切，意味着他们在这点的法线平行，也就是法向量只差一个任意的常数乘子（取为![\-\\lambda][-_lambda]）：![\\nabla f(x,y)=-\\lambda \\nabla g(x,y)][nabla f_x_y_-_lambda _nabla g_x_y], 我们把这个式子的右边移到左边，并把常数移进微分算子，就得到![\\nabla (f(x,y)+\\lambda g(x,y))=0][nabla _f_x_y_lambda g_x_y_0]。  
把这个式子重新解释一下，这个就是函数![f(x,y)+\\lambda g(x,y)][f_x_y_lambda g_x_y]无约束情况下极值点的充分条件。

[lasso regression]: /images/20220511/3982e4e184534fd29856ea2f0a4522cd.png
[ridge regression]: /images/20220511/0bdece66742c4f338eef883d0c4bbbed.png
[1 L1]: /images/20220511/2cac96d884004f608de54b1bde287a85.png
[2 L2]: /images/20220511/909e837fda824ad99d2be9c6ef0912e9.png
[Quora]: https://www.quora.com/What-is-the-difference-between-L1-and-L2-regularization/answer/Kenneth-Tran?srid=CZEe
[3 L1]: /images/20220511/3a2ae9896c314d00850e441a9917c5f2.png
[https_hit-scir.gitbooks.io_neural-networks-and-deep-learning-zh_cn_content_chap3_c3s5ss2.html]: https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html
[https_hit-scir.gitbooks.io_neural-networks-and-deep-learning-zh_cn_content_chap3_c3s5ss1.html]: https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html
[http_blog.csdn.net_u012162613_article_details_44261657]: http://blog.csdn.net/u012162613/article/details/44261657
[http_blog.csdn.net_zouxy09_article_details_24971995]: http://blog.csdn.net/zouxy09/article/details/24971995
[359cdc26e15205e66204bce2b33e4535_hd.jpg]: /images/20220511/2b9ebedc7868458ba77d36c77b3597d8.png
[f_x_y]: https://www.zhihu.com/equation?tex=f%28x%2Cy%29
[g_x_y_C]: /images/20220511/714e00ddf2074572a8219bbe3295145e.png
[ecf06d062b493f1674bd81d34d3446a8_hd.png]: /images/20220511/679c0c5b008e49f89e5cbe6ab61046c2.png
[efc7e83116906f8ffebba8b0ab58dcd2_hd.png]: /images/20220511/5a83ad71c656446eb5b1e1961f076f2c.png
[-_lambda]: https://www.zhihu.com/equation?tex=-%5Clambda
[nabla f_x_y_-_lambda _nabla g_x_y]: https://www.zhihu.com/equation?tex=%5Cnabla+f%28x%2Cy%29%3D-%5Clambda+%5Cnabla+g%28x%2Cy%29
[nabla _f_x_y_lambda g_x_y_0]: https://www.zhihu.com/equation?tex=%5Cnabla+%28f%28x%2Cy%29%2B%5Clambda+g%28x%2Cy%29%29%3D0
[f_x_y_lambda g_x_y]: https://www.zhihu.com/equation?tex=f%28x%2Cy%29%2B%5Clambda+g%28x%2Cy%29