SVM系列理论（十） SVR支持向量回归

缺乏、安全感 2022-05-17 05:17 538阅读 0赞

*   *   *  1 敏感度损失函数
         *  2 支持向量回归模型的导出
         *  3 对偶形式的导出
         *  4 KKT条件导出支持向量
         *  5 KKT条件导出b的值

前面提到，对于回归问题，  
[核岭回归][Link 1]，即**最小二乘SVM（LSSVM）**，β  β 的值大部分不为0，其支持向量非常多，也就是**稠密的**，而并不像soft-SVM中的α  α 一样，大部分α  α \`为0. **支持向量回归（SVR**）模型可以解决这个问题。

### 1 敏感度损失函数 ###

为了得到，**岭回归得到的是稠密的β  β ，本质上是其采用了最小二乘损失**，为了得到稀疏的支持向量回归，首先引入tube回归中的**敏感度损失**（insensitive loss）。

![这里写图片描述][70]

上图有三个子图，第一个图是tube回归模型，第二个图是线性回归模型，第三个图两个模型的损失函数比较。

敏感度损失的思想是设置一个**敏感度** ϵ>0  ϵ > 0 ：

*  当 f(x)  f ( x )  于 y  y  的**差别绝对值** *小于* 敏感度 ϵ ϵ 时，我们不计损失，此时损失值 err(y,f(x))  e r r ( y , f ( x ) )  为 0.
 *  当 f(x)  f ( x )  于 y  y  的**差别绝对值** *大于* 敏感度 ϵ ϵ 时，将损失值计算为 “ f(x)  f ( x )  于 y  y  的差别绝对值 − − 敏感度 ϵ  ϵ  ”

这个思想在图上可以直观地看出来，图1中红色竖直线代表损失，蓝色阴影代表 2ϵ  2 ϵ  的间隔带，样本落入此带，应认为是正确预测，损失为0；落入带外的样本的损失为样本到隔离带边界的距离，这个距离为“ f(x)  f ( x )  于 y  y  的差别绝对值 − − 敏感度 ϵ  ϵ  ”

上面思想用公式表示出来，可以表示为：

*  |y−f(x)|≤ϵ,err(y,f(x))=0  | y − f ( x ) | ≤ ϵ , e r r ( y , f ( x ) ) = 0 
 *  |y−f(x)|>ϵ,err(y,f(x))=|y−f(x)|−ϵ  | y − f ( x ) | > ϵ , e r r ( y , f ( x ) ) = | y − f ( x ) | − ϵ

这个分段函数可以写成:  
err(y,f(x))=max(0,|y−f(x)|−ϵ)  e r r ( y , f ( x ) ) = m a x ( 0 , | y − f ( x ) | − ϵ )

### 2 支持向量回归模型的导出 ###

我们知道，标准的软间隔SVM问题可以转化成[L2正则+合页损失函数的无约束问题][L2]：  
minw,b12||w||2\+C∑Ni=1max(0,1−yi(w⋅xi\+b))(1)  m i n w , b 1 2 | | w | | 2 + C ∑ i = 1 N m a x ( 0 , 1 − y i ( w ⋅ x i + b ) ) ( 1 )

其中，**松弛变量 margin violation**  
ξi=max(0,1−yi(w⋅xi\+b))  ξ i = m a x ( 0 , 1 − y i ( w ⋅ x i + b ) )

现在把合页损失函数换成敏感度损失函数，可以得到**支持向量回归的无约束条件形式**:

minw,b12||w||2\+C∑Ni=1max(0,|w⋅xi\+b−yi|−ϵ)(2)  m i n w , b 1 2 | | w | | 2 + C ∑ i = 1 N m a x ( 0 , | w ⋅ x i + b − y i | − ϵ ) ( 2 )

--------------------

引入松弛变量 ξi=max(0,|w⋅xi\+b−yi|−ϵ)  ξ i = m a x ( 0 , | w ⋅ x i + b − y i | − ϵ )  , ξi≥0  ξ i ≥ 0  转化成有约束问题

minw,b,ξ12||w||2\+C∑Ni=1ξi  m i n w , b , ξ 1 2 | | w | | 2 + C ∑ i = 1 N ξ i

s.t.|w⋅xi\+b−yi|−ϵ≤ξi,ξi≥0  s . t . | w ⋅ x i + b − y i | − ϵ ≤ ξ i , ξ i ≥ 0

**记**：  
1. 目标函数和软间隔svm形式相同  
2. 约束条件是损失值（红色线）必须小于等于松弛变量 ξi  ξ i ,其中损失值等于f(x)  f ( x )  于 y  y  的**差别绝对值** *减去* 敏感度 ϵ ϵ ，公式表示为|f(xi)−yi|−ϵ≤ξi,ξi≥0  | f ( x i ) − y i | − ϵ ≤ ξ i , ξ i ≥ 0

--------------------

可以看到约束条件并不是凸函数，进一步转化为：

minw,b,ξ12||w||2\+C∑Ni=1(ξ∨i\+ξ∧i)  m i n w , b , ξ 1 2 | | w | | 2 + C ∑ i = 1 N ( ξ i ∨ + ξ i ∧ )

s.t.−ϵ−ξ∨i≤w⋅xi\+b−yi≤ξ∧i\+ϵ  s . t . − ϵ − ξ i ∨ ≤ w ⋅ x i + b − y i ≤ ξ i ∧ + ϵ

ξ∨i≥0,ξ∧i≥0  ξ i ∨ ≥ 0 , ξ i ∧ ≥ 0

其中，ξ∧i  ξ i ∧ 表示下图中在敏感度隔离带上方的损失，ξ∨i  ξ i ∨ 表示下图中在敏感度隔离带下方的损失。

![这里写图片描述][70 1]  
我们最终得到的SVR模型为：

minw,b,ξ∨,ξ∧12||w||2\+C∑Ni=1(ξ∨i\+ξ∧i)  m i n w , b , ξ ∨ , ξ ∧ 1 2 | | w | | 2 + C ∑ i = 1 N ( ξ i ∨ + ξ i ∧ )

s.t.yi−f(xi)≤ξ∧i\+ϵ  s . t . y i − f ( x i ) ≤ ξ i ∧ + ϵ

f(xi)−yi≤ϵ\+ξ∨i  f ( x i ) − y i ≤ ϵ + ξ i ∨

ξ∨i≥0,ξ∧i≥0,i=1,2…,N  ξ i ∨ ≥ 0 , ξ i ∧ ≥ 0 , i = 1 , 2 … , N

--------------------

### 3 对偶形式的导出 ###

写出**拉格朗日函数L**.

然后分别对w,b,ξ∨,ξ∧  w , b , ξ ∨ , ξ ∧  求偏导数并令其为0，可得：

1.  w  w  仍然是输入x x的线性组合，系数是拉格朗日乘子(α∧−α∨)  ( α ∧ − α ∨ ) 
    
    w=∑Ni=0(α∧i−α∨i)⋅xi=∑Ni=0βi⋅xi  w = ∑ i = 0 N ( α i ∧ − α i ∨ ) ⋅ x i = ∑ i = 0 N β i ⋅ x i 
2.  对b求偏导会得到一个**约束条件**，这可以看成 是yi  y i  等于1，得：
    
    0=∑Ni=0(α∧−α∨)  0 = ∑ i = 0 N ( α ∧ − α ∨ ) 
3.  C 等于两类拉格朗日乘子的和：
    
    C=(α∧i\+μ∧i)  C = ( α i ∧ + μ i ∧ )   
    C=(α∨i\+μ∨i)  C = ( α i ∨ + μ i ∨ )

重新代入拉格朗日函数，得到**对偶问题**：

![这里写图片描述][70 2]

--------------------

### 4 KKT条件导出支持向量 ###

上诉过程要满足KKT条件，现在可以根据**KKT条件中的互补松弛条件推导出b及支持向量的等价关系**，进而得到整个模型的形式。

互补松弛条件如下：  
![这里写图片描述][70 3]

对于在2ϵ  ϵ 的隔离带内的点，必然有|y−f(x)|−ϵ≤0  | y − f ( x ) | − ϵ ≤ 0 且ξ=0  ξ = 0 .那么可以得到：  
![这里写图片描述][70 4]

由互补松弛条件，得到(α∧i−α∨i)=0  ( α i ∧ − α i ∨ ) = 0

因此，**支持向量**是(α∧i−α∨i)≠0  ( α i ∧ − α i ∨ ) ≠ 0  的样本点,由此我们获得**稀疏的**βi=(α∧i−α∨i)  β i = ( α i ∧ − α i ∨ ) 。

--------------------

### 5 KKT条件导出b的值 ###

在求解完对偶问题后，只需要**选取一个**满足 0<α∨i<C  0 < α i ∨ < C 的样本，并通过下式求解b。

b∗=yj\+ϵ−∑Ni=1β∗iyiK(xi⋅xj)  b ∗ = y j + ϵ − ∑ i = 1 N β i ∗ y i K ( x i ⋅ x j )

证明过程利用了两个互补松弛条件。可参看软间隔SVM。

--------------------

参考书籍：林轩田机器学习技法 周志华机器学习

[Link 1]: https://blog.csdn.net/promisejia/article/details/81431361
[70]: /images/20220517/45bea06072b4461d99b6ac902aff2da9.png
[L2]: https://blog.csdn.net/promisejia/article/details/81394649
[70 1]: /images/20220517/02c24936bdba4cb0b651d61a9d23be8d.png
[70 2]: /images/20220517/41588437f31043ad9897cb61eb91e1c9.png
[70 3]: /images/20220517/150b0ab667a64320808ffcee699d6766.png
[70 4]: /images/20220517/d240b1e23df04e019713cecf2c001322.png