【机器学习】一文读懂正则化与LASSO回归，Ridge回归

以你之姓@ 2022-10-15 12:50 229阅读 0赞

# 1.过拟合 #

当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法：

方法一：减少特征数量（人工选择重要特征来保留，会丢弃部分信息）。

方法二：正则化（减少特征参数![w ^][w]的数量级）。

# 2.正则化（Regularization） #

正则化是结构风险（损失函数+正则化项）最小化策略的体现，是在经验风险（平均损失函数）上加一个正则化项。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。

防止过拟合的原理：正则化项一般是模型复杂度的单调递增函数，而经验风险负责最小化误差，使模型偏差尽可能小经验风险越小，模型越复杂，正则化项的值越大。要使正则化项也很小，那么模型复杂程度受到限制，因此就能有效地防止过拟合。

# 3.线性回归正则化 #

正则化一般具有如下形式的优化目标：

![\\ mathop \{\\ min\} \\ limits\_ \{f \\ in F\} \\ left \[\{\\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{L \\ left（\{\{y\_i\}，f \\ left （\{\{x\_i\}\} \\ right）\} \\ right）\} + \\ lambda J \\ left（f \\ right）\} \\ right\]][mathop _ min_ _ limits_ _f _ in F_ _ left _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _L _ left_y_i_f _ left _x_i_ _ right_ _ right_ _ _ lambda J _ left_f _ right_ _ right]                      （1）

其中，![\\ lambda \\ geq 0][lambda _ geq 0]是用来平衡正则化项和经验风险的系数。

正则化项可以是模型参数向量的范数，经常用的有![L\_1][L_1]范数，![L\_2][L_2]范数（![L\_1][L_1]范数：![\{\\左\\ |  x \\ right \\ |  \_1\} = \\ sum \\ limits\_ \{i = 1\} ^ m \{\\ left |  \{\{x\_i\}\} \\ right |\}][_ x _ right _ _ _1_ _ _ sum _ limits_ _i _ 1_ _ m _ left _ _x_i_ _ right]，![L\_2][L_2]范数:![\{\\左\\ |  x \\ right \\ |  \_2\} = \\ sqrt \{\\ sum \\ limits\_ \{i = 1\} ^ m \{x\_i ^ 2\}\}][_ x _ right _ _ _2_ _ _ sqrt _ sum _ limits_ _i _ 1_ _ m _x_i _ 2]) 。

我们考虑最简单的线性回归模型。

给定数据集给定数据集，其中![D = \\left\\\{ \\left( x \_ \{ i \} , y \_ \{ i \} \\right) \\right\\\} \_ \{ i = 1 \} ^ \{ m \}][D _ _left_ _left_ x _ _ i _ _ y _ _ i _ _right_ _right_ _ _ i _ 1 _ _ _ m]，![x \_ \{ i \} = \\left( x \_ \{ i 1 \} , x \_ \{ i 2 \} , \\dots , x \_ \{ i d \} \\right)][x _ _ i _ _ _left_ x _ _ i 1 _ _ x _ _ i 2 _ _ _dots _ x _ _ i d _ _right]，![y \_ \{ i \} \\in R][y _ _ i _ _in R]。

代价函数为：![J \\ left（w \\ right）= \\ frac \{1\} \{m\} \{\\ left \\ |  \{y  -  \{w ^ T\} X\} \\ right \\ |  ^ 2\} = \\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\{\{left（\{\{y\_i\}  -  \{w ^ T\} \{x\_i\}\} \\ right）\} ^ 2\}\}][J _ left_w _ right_ _ frac _1_ _m_ _ left _ _ _y - _w _ T_ X_ _ right _ _ _ 2_ _ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _left_y_i_ - _w _ T_ _x_i_ _ right_ _ 2]                      （2）

（1）![L\_2][L_2]范数正则化（Ridge Regression，岭回归）

代价函数为：

![J \\ left（w \\ right）= \\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\{\{\\ left（\{\{y\_i\}  -  \{w ^ T\} \{x\_i\}\} \\ right ）\} ^ 2\}\} + \\ lambda \\ left \\ |  w \\ right \\ |  \_2 ^ 2 \\ left（\{\\ lambda> 0\} \\ right）][J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left _ _ w _ right _ _ _2 _ 2 _ left_ lambda_ 0_ _ right]                      （3）

（2）![L\_1][L_1]范数正则化（LASSO，Least Absoulute Shrinkage and Selection Operator，最小绝对收缩选择算子）

代价函数为：

![J \\ left（w \\ right）= \\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\{\{\\ left（\{\{y\_i\}  -  \{w ^ T\} \{x\_i\}\} \\ right ）\} ^ 2\}\} + \\ lambda \{\\ left \\ |  w \\ right \\ |  \_1\} \\ left（\{\\ lambda> 0\} \\ right）][J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left _ _ w _ right _ _ _1_ _ left_ lambda_ 0_ _ right]                      （4）

（3）![L\_1][L_1]正则项![L\_2][L_2]正则项结合（Elastic Net）

代价函数为：

![J \\ left（w \\ right）= \\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\{\{\\ left（\{\{y\_i\}  -  \{w ^ T\} \{x\_i\}\} \\ right \}\} ^ 2\}\} + \\ lambda \\ left（\{\\ rho \{\{\\ left \\ |  w \\ right \\ |\} \_1\} + \\ left（\{1  -  \\ rho\} \\ right）\\ left \\ |  w \\ right \\ |  \_2 ^ 2\} \\ right）][J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left_ rho _ left _ _ w _ right _ _ _1_ _ _ left_1 - _ rho_ _ right_ left _ _ w _ right _ _ _2 _ 2_ _ right]                      （5）

其中，![L\_1][L_1]范数正则化、![L\_2][L_2]范数正则化都有助于降低过拟合风险，![L\_2][L_2]范数通过对参数向量各元素平方和求平方根，使得![L\_2][L_2]范数最小，从而使得参数![w ^][w]的各个元素接近0 ，但不等于0。 **而![L\_1][L_1]范数正则化比![L\_2][L_2]范数更易获得“稀疏”解**，即![L\_1][L_1]范数正则化求得的![w ^][w]会有更少的非零分量，所以![L\_1][L_1]范数可用于特征选择，而![L\_2][L_2]范数在参数规则化时经常用到（事实上，![L\_0][L_0]范数得到的“稀疏”解最多，但![L\_0][L_0]范数![\\左\\ |  x \\ right \\ |  = \\＃\\ left（\{i \\ left |  \{\{x\_i\} \\ ne 0\} \\ right。\} \\ right）][_ x _ right _ _ _ _ left_i _ left _ _x_i_ _ ne 0_ _ right_ _ right]是![x][][中非][Link 1]零元素的个数，不连续，难以优化求解。因此常用![L\_1][L_1]范数来近似代替）。

**为什么![L\_1][L_1]正则化更易获得“稀疏”解呢？**

假设![X][x]仅有两个属性，![w ^][w]只有两个参数![\{W\_1\}，\{W\_2\}][W_1_W_2]，绘制不带正则项的目标函数-平方误差项等值线，再绘制![L\_1][L_1]，![L\_2][L_2]范数等值线，如图1正则化后优化目标的解要在平方误差项和正则化项之间折中，即出现在图中等值线相交处采用。![L\_1][L_1]范数时，交点常出现在坐标轴上，即![\{\}的例句][gif.latex_7Bw_1_7D]或![\{\}的例句][gif.latex_7Bw_2_7D]为0;而采用![L\_2][L_2]范数时，交点常出现在某个象限中，即![\{\}的例句][gif.latex_7Bw_1_7D]，![\{\}的例句][gif.latex_7Bw_2_7D]均非0。也就是说，![L\_1][L_1]范数比![L\_2][L_2]范数更易获得“稀疏”解。

![70][]

# 4.岭回归求解 #

岭回归不抛弃任何一个特征，缩小了回归系数。

岭回归求解与一般线性回归一致。

（1）如果采用梯度下降法：

![\\ frac \{\{\\ partial J \\ left（w \\ right）\}\} \{\{\\ partial \{w\_j\}\}\} = \\ frac \{1\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\\ left（\{ \{w ^ T\} \{x\_i\}  -  \{y\_i\}\} \\ right）\{x\_ \{ij\}\} + 2 \\ lambda \{w\_j\}\}][frac _ partial J _ left_w _ right_ _ partial _w_j_ _ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_ _w _ T_ _x_i_ - _y_i_ _ right_x_ _ij_ _ 2 _ lambda _w_j]                      （6）

迭代公式如下：

![\\ begin \{array\} \{l\} \{w\_ \{j + 1\}\} = \{w\_j\}  -  \\ frac \{\\ alpha\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\\ left（\{\{w ^ T \} \{x\_i\}  -  \{y\_i\}\} \\ right）\{x\_ \{ij\}\}  -  2 \\ lambda \{w\_j\}\} \\\\ = \\ left（\{1  -  2 \\ lambda\} \\ right）\{w\_j\}  -  \\ frac \{\\ alpha\} \{m\} \\ sum \\ limits\_ \{i = 1\} ^ m \{\\ left（\{\{w ^ T\} \{x\_i\}  -  \{y\_i\}\} \\ right）\{x\_ \{ij\}\}\} \\ end \{array\}][begin _array_ _l_ _w_ _j _ 1_ _ _w_j_ - _ frac _ alpha_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_w _ T _ _x_i_ - _y_i_ _ right_x_ _ij_ - 2 _ lambda _w_j_ _ _ _ left_1 - 2 _ lambda_ _ right_w_j_ - _ frac _ alpha_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_w _ T_ _x_i_ - _y_i_ _ right_x_ _ij_ _ end _array]                      （7）

（2）如果采用正规方程：

最优解为：

![\{w ^ \*\} = \{\\ left（\{\{X ^ T\} X + \\ lambda I\} \\ right）^ \{ -  1\}\} \{X ^ T\} y][w _ _ _ _ left_X _ T_ X _ _ lambda I_ _ right_ _ - 1_ _X _ T_ y]                      （8）

最后，将学得的线性回归模型为：

![\\ widehat y = \{w ^ T\} X = \{X ^ T\} w = \{\\ left（\{\{X ^ T\} X + \\ lambda I\} \\ right）^ \{ -  1\}\} \{X ^ T\} y][widehat y _ _w _ T_ X _ _X _ T_ w _ _ left_X _ T_ X _ _ lambda I_ _ right_ _ - 1_ _X _ T_ y]                      （9）

# 5. LASSO回归求解 #

由于![L\_1][L_1]范数用的是绝对值，导致LASSO的优化目标不是连续可导的，也就是说，最小二乘法，梯度下降法，牛顿法，拟牛顿法都不能用。

![L\_1][L_1]正则化问题求解可采用近端梯度下降法（Proximal Gradient Descent，PGD）。

**（1）优化目标**

优化目标为：![20210525103326192.png][]        （10）

若![\{f \\ left（x \\ right）\}][f _ left_x _ right]可导，梯度![\\ nabla f \\ left（x \\ right）][nabla f _ left_x _ right]满足L-Lipschitz条件（利普希茨连续条件），即存在常数![L> 0][L_ 0]，使得：

![\\压裂\{\{\\左\\ |  \{\\ nabla f \\ left（\{x'\} \\ right） -  \\ nabla f \\ left（x \\ right）\} \\ right \\ | \_2 ^ 2\}\} \{\{\\ left \\ |  \{x' -  x\} \\ right \\ | \_2 ^ 2\}\} \\ le L，\\ forall \\ left（\{x，x'\} \\ right）][_ _ nabla f _ left_x_ _ right_ - _ nabla f _ left_x _ right_ _ right _ _ _2 _ 2_ _ left _ _ _x_ - x_ _ right _ _ _2 _ 2_ _ le L_ forall _ left_x_x_ _ right]                      （11）

> L-Lipschitz（利普希茨连续条件）定义：
> 
> 对于函数![f \\ left（x \\ right）][f _ left_x _ right 1]，若其任意定义域中的![X\_1][X_1], ![X\_2][X_2]都存在![L> 0][L_ 0]，使得![\\左|  \{f \\ left（\{\{x\_1\}\} \\ right） -  f \\ left（\{\{x\_2\}\} \\ right）\} \\ right |  \\ le L \\ left |  \{\{x\_1\}  -  \{x\_2\}\} \\ right |][_f _ left_x_1_ _ right_ - f _ left_x_2_ _ right_ _ right _ _ le L _ left _ _x_1_ - _x_2_ _ right]，即对于![f \\ left（x \\ right）][f _ left_x _ right 1]上每对点，连接它们的线的斜率的绝对值总是不大于这个实数![大号][gif.latex_L]。

**（2）泰勒展开**

在![X\_K][X_K]处将![f \\ left（x \\ right）][f _ left_x _ right 1]进行二阶泰勒展开：

![f \\ left（x \\ right）= f \\ left（\{\{x\_k\}\} \\ right）+ \\ nabla f \\ left（\{\{x\_k\}\} \\ right）\\ left（\{x  -  \{x\_k\}\} \\ right）+ \\ frac \{\{f''\\ left（\{\{x\_k\} + \\ xi\} \\ right）\}\} \{2\} \{\\ left（\{x  -  \{x\_k\}\} \\ right）^ 2\}][f _ left_x _ right_ f _ left_x_k_ _ right_ _ nabla f _ left_x_k_ _ right_ left_x - _x_k_ _ right_ _ frac _f_ left_x_k_ _ _ xi_ _ right_ _2_ _ left_x - _x_k_ _ right_ 2]                      （12）

由（11）式，泰勒将展开式的二阶导用![大号][gif.latex_L]代替，得到：

![f \\ left（x \\ right）\\ approx f \\ left（\{\{x\_k\}\} \\ right）+ \\ nabla f \\ left（\{\{x\_k\}\} \\ right）\\ left（\{x  -  \{x\_k\}\} \\ right） + \\ frac \{L\} \{2\} \{\\ left（\{x  -  \{x\_k\}\} \\ right）^ 2\}][f _ left_x _ right_ approx f _ left_x_k_ _ right_ _ nabla f _ left_x_k_ _ right_ left_x - _x_k_ _ right_ _ _ frac _L_ _2_ _ left_x - _x_k_ _ right_ 2]                      （13）

**（3）简化泰勒展开式**

将（13）式化简：

![2021052510335078.png][]                      （14）

其中，![\\ varphi \\ left（\{\{x\_k\}\} \\ right）\{\\ rm \{=\}\} f \\ left（\{\{x\_k\}\} \\ right） -  \\ frac \{1\} \{\{2L\}\} \{\\ left（\{\\ nabla f \\ left（\{\{x\_k\}\} \\ right）\} \\ right）^ 2\}][varphi _ left_x_k_ _ right_ rm _ f _ left_x_k_ _ right_ - _ frac _1_ _2L_ _ left_ nabla f _ left_x_k_ _ right_ _ right_ 2]是![X][x]无关的常数。

**（4）简化优化问题**

这里若通过梯度下降法对![f \\ left（x \\ right）][f _ left_x _ right 1]（![f \\ left（x \\ right）][f _ left_x _ right 1]连续可导）进行最小化，则每一步下降迭代实际上等价于最小化二次函数![\\ widehat f \\ left（x \\ right）][widehat f _ left_x _ right]，推广到优化目标（10），可得到每一步迭代公式：

![\{x\_ \{k + 1\}\} = \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left \[\{\\ frac \{L\} \{2\} \\ left \\ |  \{x  -  \\ left（\{\{x\_k\}  -  \\ frac \{1\} \{L\} \\ nabla f \\ left（\{\{x\_k\}\} \\ right）\} \\ right）\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{ \\左\\ |  x \\ right \\ |\} \_1\}\} \\ right\]][x_ _k _ 1_ _ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - _ left_x_k_ - _ frac _1_ _L_ _ nabla f _ left_x_k_ _ right_ _ right_ _ right _ _ _2 _ 2 _ _ lambda _ _ _ x _ right _ _ _1_ _ right]                      （15）

令![z = \{x\_k\}  -  \\ frac \{1\} \{L\} \\ nabla f \\ left（\{\{x\_k\}\} \\ right）][z _ _x_k_ - _ frac _1_ _L_ _ nabla f _ left_x_k_ _ right]，

则可以先求![ž][gif.latex_z]，再求解优化问题：

![\{x\_ \{k + 1\}\} = \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left \[\{\\ frac \{L\} \{2\} \\ left \\ |  \{x  -  z\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ |  x \\ right \\ |\} \_1\}\} \\ right\]][x_ _k _ 1_ _ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right]                      （16）

**（5）求解**

令![X ^ I][X _ I]为![X][x]的第![一世][gif.latex_i]个分量，将（16）式按分量展开，其中不存在![x ^ ix ^ j（i \\ neq j）][x _ ix _ j_i _ neq j]这样的项，即![X][x]的各分量之间互不影响，所以（12）式有闭式解。

> 为什么（16）式不存在![x ^ ix ^ j（i \\ neq j）][x _ ix _ j_i _ neq j]这样的项？
> 
> 因为展开（16）式得到，![\\ begin \{array\} \{l\} \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left \[\{\\ frac \{L\} \{2\} \\ left \\ |  \{x  -  z\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ |  x \\ right \\ |\} \_1\}\} \\ right\] \\\\ = \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left（\{\\ frac \{L\} \{2\} \\ left \\ | \{\{x ^ 1\}  -  \{z ^ 1\}\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ | \{\{x ^ 1\}\} \\ right \\ |\} \_1\}\} \\ right）+ \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left（\{\\ frac \{L\} \{2\} \\ left \\ | \{\{x ^ 2\}  -  \{z ^ 2\}\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ | \{\{x ^ 2\} \} \\ right \\ |\} \_1\}\} \\ right）+ \\ cdots \\\\ + \\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left（\{\\ frac \{L\} \{2\} \\ left \\ | \{\{x ^ d\} -  \{z ^ d\}\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ | \{\{x ^ d\}\} \\ right \\ |\} \_1\}\} \\ right）\\ end \{array\}][begin _array_ _l_ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right_ _ _ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ 1_ - _z _ 1_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ 1_ _ right _ _ _1_ _ right_ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ 2_ - _z _ 2_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ 2_ _ _ right _ _ _1_ _ right_ _ cdots _ _ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ d_ - _z _ d_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ d_ _ right _ _ _1_ _ right_ end _array]
> 
> 从而优化问题变为求解![d][]个独立的函数：![f \\ left（x \\ right）= \{\\ left（\{x  -  z\} \\ right）^ 2\} + \\ lambda \{\\ left \\ |  x \\ right \\ | \_1\}][f _ left_x _ right_ _ left_x - z_ _ right_ 2_ _ _ lambda _ left _ _ x _ right _ _ _1]。

对于上述优化问题需要用到soft thresholding软阈值函数（证明见[参考文献2][2]），即对于优化问题：

![\\ mathop \{\\ arg \\ min\} \\ limits\_x \\ left \[\{\\ left \\ |  \{x  -  z\} \\ right \\ | \_2 ^ 2 + \\ lambda \{\{\\ left \\ |  x \\ right \\ |\} \_1\}\} \\ right\]][mathop _ arg _ min_ _ limits_x _ left _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right]                      （17）

其解为：![pro \{x\_u\} \\ left（z \\ right）= sign \\ left（z \\ right）\\ max \\ left \\ \{\{\\ left |  z \\ right |   - 你，0\} \\ right \\\}][pro _x_u_ _ left_z _ right_ sign _ left_z _ right_ max _ left _ _ left _ z _ right _ - _0_ _ right]                      （18）

而我们的优化问题为（16）式，则得到闭式解为：

![x\_ \{k + 1\} ^ i = \\ left \\ \{\{\{begin \{array\} \{\* \{20\} \{c\}\} \{\{z ^ i\}  -  \\ frac \{\{2 \\ lambda\}\} \{L\}\}＆， ＆\{\{z ^ i\}> \\ frac \{\{2 \\ lambda\}\} \{L\}\} \\\\ 0＆，＆\{ -  \\ frac \{\{2 \\ lambda\}\} \{L\} <\{z ^ i\} <\\ frac \{ \{2 \\ lambda\}\} \{L\}\} \\\\ \{\{z ^ i\} + \\ frac \{\{2 \\ lambda\}\} \{L\}\}＆，＆\{\{z ^ i\} < -  \\ frac \{\{2 \\ lambda \}\} \{L\}\} \\ end \{array\}\} \\ right \\\}][x_ _k _ 1_ _ i _ _ left _ _begin _array_ _ _20_ _c_ _z _ i_ - _ frac _2 _ lambda_ _L_ _z _ i_ _ frac _2 _ lambda_ _L_ _ 0_ - _ frac _2 _ lambda_ _L_ _z _ i_ _ frac _ _2 _ lambda_ _L_ _ _z _ i_ _ _ frac _2 _ lambda_ _L_z _ i_ _ - _ frac _2 _ lambda _ _L_ _ end _array_ _ right]                      （19）

其中，![x\_ \{k + 1\} ^ i][x_ _k _ 1_ _ i]与![Z 1我][Z 1]分别是![x\_ \{k + 1\}][x_ _k _ 1]与![ž][gif.latex_z]的第![一世][gif.latex_i]个分量。因此，通过PGD能使LASSO和其他基于![L\_1][L_1]范数最小化的方法得以快速求解。

> 参考文献：
> 
> 1.[《机器学习》][Link 2]第十一章嵌入式选择与L1正则化——周志华
> 
> 2.  [LASSO回归与L1正则化西瓜书][2]
> 
> 3.  [机器学习之正则化（正规化）][Link 3]
> 
> 4.  [正则化及正则化项的理解][Link 4]

[w]: https://private.codecogs.com/gif.latex?w
[mathop _ min_ _ limits_ _f _ in F_ _ left _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _L _ left_y_i_f _ left _x_i_ _ right_ _ right_ _ _ lambda J _ left_f _ right_ _ right]: https://private.codecogs.com/gif.latex?%5Cmathop%20%7B%5Cmin%20%7D%5Climits_%7Bf%20%5Cin%20F%7D%20%5Cleft%5B%20%7B%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7BL%5Cleft%28%20%7B%7By_i%7D%2Cf%5Cleft%28%20%7B%7Bx_i%7D%7D%20%5Cright%29%7D%20%5Cright%29%7D%20&plus;%20%5Clambda%20J%5Cleft%28%20f%20%5Cright%29%7D%20%5Cright%5D
[lambda _ geq 0]: https://private.codecogs.com/gif.latex?%5Clambda%20%5Cgeq%200
[L_1]: https://private.codecogs.com/gif.latex?L_1
[L_2]: https://private.codecogs.com/gif.latex?L_2
[_ x _ right _ _ _1_ _ _ sum _ limits_ _i _ 1_ _ m _ left _ _x_i_ _ right]: https://private.codecogs.com/gif.latex?%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C_1%7D%20%3D%20%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5Cleft%7C%20%7B%7Bx_i%7D%7D%20%5Cright%7C%7D
[_ x _ right _ _ _2_ _ _ sqrt _ sum _ limits_ _i _ 1_ _ m _x_i _ 2]: https://private.codecogs.com/gif.latex?%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C_2%7D%20%3D%20%5Csqrt%20%7B%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7Bx_i%5E2%7D%20%7D
[D _ _left_ _left_ x _ _ i _ _ y _ _ i _ _right_ _right_ _ _ i _ 1 _ _ _ m]: https://private.codecogs.com/gif.latex?D%20%3D%20%5Cleft%5C%7B%20%5Cleft%28%20x%20_%20%7B%20i%20%7D%20%2C%20y%20_%20%7B%20i%20%7D%20%5Cright%29%20%5Cright%5C%7D%20_%20%7B%20i%20%3D%201%20%7D%20%5E%20%7B%20m%20%7D
[x _ _ i _ _ _left_ x _ _ i 1 _ _ x _ _ i 2 _ _ _dots _ x _ _ i d _ _right]: https://private.codecogs.com/gif.latex?x%20_%20%7B%20i%20%7D%20%3D%20%5Cleft%28%20x%20_%20%7B%20i%201%20%7D%20%2C%20x%20_%20%7B%20i%202%20%7D%20%2C%20%5Cdots%20%2C%20x%20_%20%7B%20i%20d%20%7D%20%5Cright%29
[y _ _ i _ _in R]: https://private.codecogs.com/gif.latex?y%20_%20%7B%20i%20%7D%20%5Cin%20R
[J _ left_w _ right_ _ frac _1_ _m_ _ left _ _ _y - _w _ T_ X_ _ right _ _ _ 2_ _ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _left_y_i_ - _w _ T_ _x_i_ _ right_ _ 2]: https://private.codecogs.com/gif.latex?J%5Cleft%28%20w%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%7B%5Cleft%5C%7C%20%7By%20-%20%7Bw%5ET%7DX%7D%20%5Cright%5C%7C%5E2%7D%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%7B%7B%5Cleft%28%20%7B%7By_i%7D%20-%20%7Bw%5ET%7D%7Bx_i%7D%7D%20%5Cright%29%7D%5E2%7D%7D
[J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left _ _ w _ right _ _ _2 _ 2 _ left_ lambda_ 0_ _ right]: https://private.codecogs.com/gif.latex?J%5Cleft%28%20w%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%7B%7B%5Cleft%28%20%7B%7By_i%7D%20-%20%7Bw%5ET%7D%7Bx_i%7D%7D%20%5Cright%29%7D%5E2%7D%7D%20&plus;%20%5Clambda%20%5Cleft%5C%7C%20w%20%5Cright%5C%7C_2%5E2%5Cleft%28%20%7B%5Clambda%20%3E%200%7D%20%5Cright%29
[J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left _ _ w _ right _ _ _1_ _ left_ lambda_ 0_ _ right]: https://private.codecogs.com/gif.latex?J%5Cleft%28%20w%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%7B%7B%5Cleft%28%20%7B%7By_i%7D%20-%20%7Bw%5ET%7D%7Bx_i%7D%7D%20%5Cright%29%7D%5E2%7D%7D%20&plus;%20%5Clambda%20%7B%5Cleft%5C%7C%20w%20%5Cright%5C%7C_1%7D%5Cleft%28%20%7B%5Clambda%20%3E%200%7D%20%5Cright%29
[J _ left_w _ right_ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_y_i_ - _w _ T_ _x_i_ _ right _ _ 2_ _ _ lambda _ left_ rho _ left _ _ w _ right _ _ _1_ _ _ left_1 - _ rho_ _ right_ left _ _ w _ right _ _ _2 _ 2_ _ right]: https://private.codecogs.com/gif.latex?J%5Cleft%28%20w%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%7B%7B%5Cleft%28%20%7B%7By_i%7D%20-%20%7Bw%5ET%7D%7Bx_i%7D%7D%20%5Cright%29%7D%5E2%7D%7D%20&plus;%20%5Clambda%20%5Cleft%28%20%7B%5Crho%20%7B%7B%5Cleft%5C%7C%20w%20%5Cright%5C%7C%7D_1%7D%20&plus;%20%5Cleft%28%20%7B1%20-%20%5Crho%20%7D%20%5Cright%29%5Cleft%5C%7C%20w%20%5Cright%5C%7C_2%5E2%7D%20%5Cright%29
[L_0]: https://private.codecogs.com/gif.latex?L_0
[_ x _ right _ _ _ _ left_i _ left _ _x_i_ _ ne 0_ _ right_ _ right]: https://private.codecogs.com/gif.latex?%5Cleft%5C%7C%20x%20%5Cright%5C%7C%20%3D%20%5C%23%20%5Cleft%28%20%7Bi%5Cleft%7C%20%7B%7Bx_i%7D%20%5Cne%200%7D%20%5Cright.%7D%20%5Cright%29
[x]: https://private.codecogs.com/gif.latex?x
[Link 1]: https://www.baidu.com/s?wd=%E4%B8%AD%E9%9D%9E&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[W_1_W_2]: https://private.codecogs.com/gif.latex?%7Bw_1%7D%2C%7Bw_2%7D
[gif.latex_7Bw_1_7D]: https://private.codecogs.com/gif.latex?%7Bw_1%7D
[gif.latex_7Bw_2_7D]: https://private.codecogs.com/gif.latex?%7Bw_2%7D
[70]: /images/20221014/6793e34b1d54414ab2047e1ddba77083.png
[frac _ partial J _ left_w _ right_ _ partial _w_j_ _ _ frac _1_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_ _w _ T_ _x_i_ - _y_i_ _ right_x_ _ij_ _ 2 _ lambda _w_j]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%7B%5Cpartial%20J%5Cleft%28%20w%20%5Cright%29%7D%7D%7B%7B%5Cpartial%20%7Bw_j%7D%7D%7D%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5Cleft%28%20%7B%7Bw%5ET%7D%7Bx_i%7D%20-%20%7By_i%7D%7D%20%5Cright%29%7Bx_%7Bij%7D%7D%20&plus;%202%5Clambda%20%7Bw_j%7D%7D
[begin _array_ _l_ _w_ _j _ 1_ _ _w_j_ - _ frac _ alpha_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_w _ T _ _x_i_ - _y_i_ _ right_x_ _ij_ - 2 _ lambda _w_j_ _ _ _ left_1 - 2 _ lambda_ _ right_w_j_ - _ frac _ alpha_ _m_ _ sum _ limits_ _i _ 1_ _ m _ left_w _ T_ _x_i_ - _y_i_ _ right_x_ _ij_ _ end _array]: https://private.codecogs.com/gif.latex?%5Cbegin%7Barray%7D%7Bl%7D%20%7Bw_%7Bj%20&plus;%201%7D%7D%20%3D%20%7Bw_j%7D%20-%20%5Cfrac%7B%5Calpha%20%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5Cleft%28%20%7B%7Bw%5ET%7D%7Bx_i%7D%20-%20%7By_i%7D%7D%20%5Cright%29%7Bx_%7Bij%7D%7D%20-%202%5Clambda%20%7Bw_j%7D%7D%20%5C%5C%20%3D%20%5Cleft%28%20%7B1%20-%202%5Clambda%20%7D%20%5Cright%29%7Bw_j%7D%20-%20%5Cfrac%7B%5Calpha%20%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5Cleft%28%20%7B%7Bw%5ET%7D%7Bx_i%7D%20-%20%7By_i%7D%7D%20%5Cright%29%7Bx_%7Bij%7D%7D%7D%20%5Cend%7Barray%7D
[w _ _ _ _ left_X _ T_ X _ _ lambda I_ _ right_ _ - 1_ _X _ T_ y]: https://private.codecogs.com/gif.latex?%7Bw%5E*%7D%20%3D%20%7B%5Cleft%28%20%7B%7BX%5ET%7DX%20&plus;%20%5Clambda%20I%7D%20%5Cright%29%5E%7B%20-%201%7D%7D%7BX%5ET%7Dy
[widehat y _ _w _ T_ X _ _X _ T_ w _ _ left_X _ T_ X _ _ lambda I_ _ right_ _ - 1_ _X _ T_ y]: https://private.codecogs.com/gif.latex?%5Cwidehat%20y%20%3D%20%7Bw%5ET%7DX%20%3D%20%7BX%5ET%7Dw%20%3D%20%7B%5Cleft%28%20%7B%7BX%5ET%7DX%20&plus;%20%5Clambda%20I%7D%20%5Cright%29%5E%7B%20-%201%7D%7D%7BX%5ET%7Dy
[20210525103326192.png]: /images/20221014/a716b6c03ed5488e8f5f3d8d2121f908.png
[f _ left_x _ right]: https://private.codecogs.com/gif.latex?%7Bf%5Cleft%28%20x%20%5Cright%29%7D
[nabla f _ left_x _ right]: https://private.codecogs.com/gif.latex?%5Cnabla%20f%5Cleft%28%20x%20%5Cright%29
[L_ 0]: https://private.codecogs.com/gif.latex?L%3E0
[_ _ nabla f _ left_x_ _ right_ - _ nabla f _ left_x _ right_ _ right _ _ _2 _ 2_ _ left _ _ _x_ - x_ _ right _ _ _2 _ 2_ _ le L_ forall _ left_x_x_ _ right]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%7B%5Cleft%5C%7C%20%7B%5Cnabla%20f%5Cleft%28%20%7Bx%27%7D%20%5Cright%29%20-%20%5Cnabla%20f%5Cleft%28%20x%20%5Cright%29%7D%20%5Cright%5C%7C_2%5E2%7D%7D%7B%7B%5Cleft%5C%7C%20%7Bx%27%20-%20x%7D%20%5Cright%5C%7C_2%5E2%7D%7D%20%5Cle%20L%2C%5Cforall%20%5Cleft%28%20%7Bx%2Cx%27%7D%20%5Cright%29
[f _ left_x _ right 1]: https://private.codecogs.com/gif.latex?f%5Cleft%28%20x%20%5Cright%29
[X_1]: https://private.codecogs.com/gif.latex?x_1
[X_2]: https://private.codecogs.com/gif.latex?x_2
[_f _ left_x_1_ _ right_ - f _ left_x_2_ _ right_ _ right _ _ le L _ left _ _x_1_ - _x_2_ _ right]: https://private.codecogs.com/gif.latex?%5Cleft%7C%20%7Bf%5Cleft%28%20%7B%7Bx_1%7D%7D%20%5Cright%29%20-%20f%5Cleft%28%20%7B%7Bx_2%7D%7D%20%5Cright%29%7D%20%5Cright%7C%20%5Cle%20L%5Cleft%7C%20%7B%7Bx_1%7D%20-%20%7Bx_2%7D%7D%20%5Cright%7C
[gif.latex_L]: https://private.codecogs.com/gif.latex?L
[X_K]: https://private.codecogs.com/gif.latex?x_k
[f _ left_x _ right_ f _ left_x_k_ _ right_ _ nabla f _ left_x_k_ _ right_ left_x - _x_k_ _ right_ _ frac _f_ left_x_k_ _ _ xi_ _ right_ _2_ _ left_x - _x_k_ _ right_ 2]: https://private.codecogs.com/gif.latex?f%5Cleft%28%20x%20%5Cright%29%20%3D%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%20&plus;%20%5Cnabla%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%5Cleft%28%20%7Bx%20-%20%7Bx_k%7D%7D%20%5Cright%29%20&plus;%20%5Cfrac%7B%7Bf%27%27%5Cleft%28%20%7B%7Bx_k%7D%20&plus;%20%5Cxi%20%7D%20%5Cright%29%7D%7D%7B2%7D%7B%5Cleft%28%20%7Bx%20-%20%7Bx_k%7D%7D%20%5Cright%29%5E2%7D
[f _ left_x _ right_ approx f _ left_x_k_ _ right_ _ nabla f _ left_x_k_ _ right_ left_x - _x_k_ _ right_ _ _ frac _L_ _2_ _ left_x - _x_k_ _ right_ 2]: https://private.codecogs.com/gif.latex?f%5Cleft%28%20x%20%5Cright%29%20%5Capprox%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%20&plus;%20%5Cnabla%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%5Cleft%28%20%7Bx%20-%20%7Bx_k%7D%7D%20%5Cright%29%20&plus;%20%5Cfrac%7BL%7D%7B2%7D%7B%5Cleft%28%20%7Bx%20-%20%7Bx_k%7D%7D%20%5Cright%29%5E2%7D
[2021052510335078.png]: /images/20221014/37abce0a8cfb4077aa02f042f21ae657.png
[varphi _ left_x_k_ _ right_ rm _ f _ left_x_k_ _ right_ - _ frac _1_ _2L_ _ left_ nabla f _ left_x_k_ _ right_ _ right_ 2]: https://private.codecogs.com/gif.latex?%5Cvarphi%20%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%7B%5Crm%7B%20%3D%20%7D%7Df%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%20-%20%5Cfrac%7B1%7D%7B%7B2L%7D%7D%7B%5Cleft%28%20%7B%5Cnabla%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%7D%20%5Cright%29%5E2%7D
[widehat f _ left_x _ right]: https://private.codecogs.com/gif.latex?%5Cwidehat%20f%5Cleft%28%20x%20%5Cright%29
[x_ _k _ 1_ _ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - _ left_x_k_ - _ frac _1_ _L_ _ nabla f _ left_x_k_ _ right_ _ right_ _ right _ _ _2 _ 2 _ _ lambda _ _ _ x _ right _ _ _1_ _ right]: https://private.codecogs.com/gif.latex?%7Bx_%7Bk%20&plus;%201%7D%7D%20%3D%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%5B%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7Bx%20-%20%5Cleft%28%20%7B%7Bx_k%7D%20-%20%5Cfrac%7B1%7D%7BL%7D%5Cnabla%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29%7D%20%5Cright%29%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%5D
[z _ _x_k_ - _ frac _1_ _L_ _ nabla f _ left_x_k_ _ right]: https://private.codecogs.com/gif.latex?z%20%3D%20%7Bx_k%7D%20-%20%5Cfrac%7B1%7D%7BL%7D%5Cnabla%20f%5Cleft%28%20%7B%7Bx_k%7D%7D%20%5Cright%29
[gif.latex_z]: https://private.codecogs.com/gif.latex?z
[x_ _k _ 1_ _ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right]: https://private.codecogs.com/gif.latex?%7Bx_%7Bk%20&plus;%201%7D%7D%20%3D%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%5B%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7Bx%20-%20z%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%5D
[X _ I]: https://private.codecogs.com/gif.latex?x%5Ei
[gif.latex_i]: https://private.codecogs.com/gif.latex?i
[x _ ix _ j_i _ neq j]: https://private.codecogs.com/gif.latex?x%5Eix%5Ej%28i%5Cneq%20j%29
[begin _array_ _l_ _ mathop _ arg _ min_ _ limits_x _ left _ frac _L_ _2_ _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right_ _ _ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ 1_ - _z _ 1_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ 1_ _ right _ _ _1_ _ right_ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ 2_ - _z _ 2_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ 2_ _ _ right _ _ _1_ _ right_ _ cdots _ _ _ mathop _ arg _ min_ _ limits_x _ left_ frac _L_ _2_ _ left _ _ _x _ d_ - _z _ d_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ _x _ d_ _ right _ _ _1_ _ right_ end _array]: https://private.codecogs.com/gif.latex?%5Cbegin%7Barray%7D%7Bl%7D%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%5B%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7Bx%20-%20z%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%5D%5C%5C%20%3D%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%28%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7B%7Bx%5E1%7D%20-%20%7Bz%5E1%7D%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20%7B%7Bx%5E1%7D%7D%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%29%20&plus;%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%28%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7B%7Bx%5E2%7D%20-%20%7Bz%5E2%7D%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20%7B%7Bx%5E2%7D%7D%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%29%20&plus;%20%5Ccdots%20%5C%5C%20&plus;%20%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%28%20%7B%5Cfrac%7BL%7D%7B2%7D%5Cleft%5C%7C%20%7B%7Bx%5Ed%7D%20-%20%7Bz%5Ed%7D%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20%7B%7Bx%5Ed%7D%7D%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%29%20%5Cend%7Barray%7D
[d]: https://private.codecogs.com/gif.latex?d
[f _ left_x _ right_ _ left_x - z_ _ right_ 2_ _ _ lambda _ left _ _ x _ right _ _ _1]: https://private.codecogs.com/gif.latex?f%5Cleft%28%20x%20%5Cright%29%20%3D%20%7B%5Cleft%28%20%7Bx%20-%20z%7D%20%5Cright%29%5E2%7D%20&plus;%20%5Clambda%20%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C_1%7D
[2]: https://blog.csdn.net/BIT_666/article/details/80051737
[mathop _ arg _ min_ _ limits_x _ left _ left _ _ _x - z_ _ right _ _ _2 _ 2 _ _ lambda _ left _ _ x _ right _ _ _1_ _ right]: https://private.codecogs.com/gif.latex?%5Cmathop%20%7B%5Carg%20%5Cmin%20%7D%5Climits_x%20%5Cleft%5B%20%7B%5Cleft%5C%7C%20%7Bx%20-%20z%7D%20%5Cright%5C%7C_2%5E2%20&plus;%20%5Clambda%20%7B%7B%5Cleft%5C%7C%20x%20%5Cright%5C%7C%7D_1%7D%7D%20%5Cright%5D
[pro _x_u_ _ left_z _ right_ sign _ left_z _ right_ max _ left _ _ left _ z _ right _ - _0_ _ right]: https://private.codecogs.com/gif.latex?pro%7Bx_u%7D%5Cleft%28%20z%20%5Cright%29%20%3D%20sign%5Cleft%28%20z%20%5Cright%29%5Cmax%20%5Cleft%5C%7B%20%7B%5Cleft%7C%20z%20%5Cright%7C%20-%20u%2C0%7D%20%5Cright%5C%7D
[x_ _k _ 1_ _ i _ _ left _ _begin _array_ _ _20_ _c_ _z _ i_ - _ frac _2 _ lambda_ _L_ _z _ i_ _ frac _2 _ lambda_ _L_ _ 0_ - _ frac _2 _ lambda_ _L_ _z _ i_ _ frac _ _2 _ lambda_ _L_ _ _z _ i_ _ _ frac _2 _ lambda_ _L_z _ i_ _ - _ frac _2 _ lambda _ _L_ _ end _array_ _ right]: https://private.codecogs.com/gif.latex?x_%7Bk%20&plus;%201%7D%5Ei%20%3D%20%5Cleft%5C%7B%20%7B%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bc%7D%7D%20%7B%7Bz%5Ei%7D%20-%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%7D%26%2C%26%7B%7Bz%5Ei%7D%20%3E%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%7D%5C%5C%200%26%2C%26%7B%20-%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%20%3C%20%7Bz%5Ei%7D%20%3C%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%7D%5C%5C%20%7B%7Bz%5Ei%7D%20&plus;%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%7D%26%2C%26%7B%7Bz%5Ei%7D%20%3C%20-%20%5Cfrac%7B%7B2%5Clambda%20%7D%7D%7BL%7D%7D%20%5Cend%7Barray%7D%7D%20%5Cright%5C%7D
[x_ _k _ 1_ _ i]: https://private.codecogs.com/gif.latex?x_%7Bk%20&plus;%201%7D%5Ei
[Z 1]: https://private.codecogs.com/gif.latex?z%5Ei
[x_ _k _ 1]: https://private.codecogs.com/gif.latex?x_%7Bk%20&plus;%201%7D
[Link 2]: https://www.baidu.com/s?wd=%E3%80%8A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E3%80%8B&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[Link 3]: https://www.cnblogs.com/jianxinzhou/p/4083921.html
[Link 4]: https://blog.csdn.net/gshgsh1228/article/details/52199870/