SVM理解之核函数

た入场券 2022-05-09 00:22 202阅读 0赞

##### 核函数是什么 #####

在使用SVM分类器处理非线性问题时，核函数是绕不过的坎，其实关于核函数，首先需要记住这两句话：

1.  核函数可以使向量直接在原来的低维空间中进行内积计算，避免了直接在高维空间中的复杂计算。
2.  计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数。

现在不懂这两句话也没有关系，别急，我一直认为，抽象的东西举一个例子就可以把它纠下神坛。所以下边我们带着这两句话看一个例子。但是要记住，一定要一边嘴里念叨着这两句话一边看实例：

假设有两个向量  
 X 1 = ( a 1 , a 2 ) T X\_1=(a\_1,a\_2)^T X1=(a1,a2)T,  
 X 2 = ( b 1 , b 2 ) T X\_2=(b\_1,b\_2)^T X2=(b1,b2)T  
那么，我们对向量做一个映射，映射函数是 ϕ ( X ) = ( 2 x 1 , x 1 2 , 2 x 2 , x 2 2 , 2 x 1 x 2 , 1 ) \\phi(X) = (\\sqrt2x\_1,x\_1^2,\\sqrt2x\_2,x\_2^2,\\sqrt2x\_1x\_2,1) ϕ(X)=(2x1,x12,2x2,x22,2x1x2,1)  
那么 X 1 ′ = ( 2 a 1 , a 1 2 , 2 a 2 , a 2 2 , 2 a 1 a 2 , 1 ) X&\#x27;\_1=(\\sqrt2a\_1,a\_1^2,\\sqrt2a\_2,a\_2^2,\\sqrt2a\_1a\_2,1) X1′=(2a1,a12,2a2,a22,2a1a2,1)  
 X 2 ′ = ( 2 b 1 , b 1 2 , 2 b 2 , b 2 2 , 2 b 1 b 2 , 1 ) X&\#x27;\_2=(\\sqrt2b\_1,b\_1^2,\\sqrt2b\_2,b\_2^2,\\sqrt2b\_1b\_2,1) X2′=(2b1,b12,2b2,b22,2b1b2,1)

我们求映射后的内积如下：  
 < X 1 ′ , X 2 ′ > = a 1 b 1 + ( a 1 b 1 ) 2 + a 2 b 2 + ( a 2 b 2 ) 2 + a 1 a 2 b 1 b 2 + 1 <X&\#x27;\_1,X&\#x27;\_2> = a\_1b\_1+(a\_1b\_1)^2+a\_2b\_2+(a\_2b\_2)^2+a\_1a\_2b\_1b\_2+1 <X1′,X2′>=a1b1\+(a1b1)2\+a2b2\+(a2b2)2\+a1a2b1b2\+1

接下来，我们可以求一个内积的变换：  
 ( < X 1 , X 2 > + 1 ) 2 = 2 a 1 b 1 + ( a 1 b 1 ) 2 + 2 a 2 b 2 + ( a 2 b 2 ) 2 + 2 a 1 a 2 b 1 b 2 + 1 (<X\_1,X\_2>+1)^2=2a\_1b\_1+(a\_1b\_1)^2+2a\_2b\_2+(a\_2b\_2)^2+2a\_1a\_2b\_1b\_2+1 (<X1,X2>\+1)2=2a1b1\+(a1b1)2\+2a2b2\+(a2b2)2\+2a1a2b1b2\+1 （别问我为什么会求这个公式，凑出来的，没啥道理！）

amazing！可以发现，除了部分系数之外，所有项都相同，但是我们可以直接在原来的低维空间中进行计算，而不需要映射在高维空间之后再求解，这就是核函数的妙用。

以上，我们可以把 K ( X 1 , X 2 ) = ( < X 1 , X 2 > + 1 ) 2 K(X\_1,X\_2) = (<X\_1,X\_2>+1)^2 K(X1,X2)=(<X1,X2>\+1)2叫做X1，X2的核函数。  
（注意：核函数只是向量内积在低维空间映射到了高维空间，两个维度下向量并没有其他关系。也就是说，在核函数下，我们只需要关注内积操作相似，不需要考虑内部怎么变化的。）

但是上边的例子也可以看到，公式只是根据这个特例凑出来的，并没有什么遵循的依据，有很大的巧合性。所以，数学家们就又发明了一些通用的核函数。

##### 常用的核函数 #####

1.  线性核函数  
    ![在这里插入图片描述][70]
2.  多项式核函数，显然刚才我们举的例子是这里多项式核的一个特例（R = 1，d =2）多项式核函数，显然刚才我们举的例子是这里多项式核的一个特例（R = 1，d =2）  
    ![在这里插入图片描述][70 1]
3.  高斯核函数，高斯核非常灵活，也是使用最广泛的核函数之一。  
    ![A=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)][A_font_5a6L5L2T_fontsize_400_fill_I0JBQkFCMA_dissolve_70]

[70]: /images/20220509/ec07fd381df745de83c0fd211f9bbba0.png
[70 1]: /images/20220509/a20d2e35dc424447a99197ce5e41510e.png
[A_font_5a6L5L2T_fontsize_400_fill_I0JBQkFCMA_dissolve_70]: /images/20220509/22dec03cc1fb4b058aaded68f64f2fa8.png