机器学习径向基(Radial basis function)与RBF核函数浅析

偏执的太偏执、 2022-08-04 14:41 620阅读 0赞

径向基函数(RBF)在神经网络领域扮演着重要的角色，如 RBF神经网络具有**唯一最佳逼近的特性**，径向基作为核函数在SVM中能将输入样本映射到高维特征空间，解决一些原本线性不可分的问题。

本文主要讨论：

1. 先讨论核函数是如何把数据映射到高维空间的，然后引入径向基函数作核函数，并特别说明高斯径向基函数的几何意义，以及它作为核函数时为什么能把数据映射到无限维空间。

2.提到了径向基函数，就继续讨论下径向基函数神经网络为什么能用来逼近。

**注：核函数是一回事，径向基函数是另一回事。**

核函数表示的是高维空间里由于向量内积而计算出来的一个函数表达式(后面将见到)。

**径向基函数是一类函数，径向基函数是一个它的值(y)只依赖于变量(x)距原点距离的函数，即![\\phi(\\mathbf\{x\}) = \\phi(\\|\\mathbf\{x\}\\|)][phi_mathbf_x_ _ _phi_mathbf_x]；也可以是距其他某个中心点的距离，即![\\phi(\\mathbf\{x\}, \\mathbf\{c\}) = \\phi(\\|\\mathbf\{x\}-\\mathbf\{c\}\\|)][phi_mathbf_x_ _mathbf_c_ _ _phi_mathbf_x_-_mathbf_c]。也就是说，可以选定径向基函数来当核函数，譬如SVM里一般都用高斯径向基作为核函数，但是核函数不一定要选择径向基这一类函数。**

**一.由非线性映射引入核函数概念，之后介绍高斯径向基及其几何意义。**

预先规定![20140724192500140][]是一个非线性映射函数,能够把空间 ![20140724193011477][] 中任一点![20140724192629015][],映射到空间 ![20140724192811375][] 中 ![20140724192846203][] 。

下面先用一个例子说明这种映射的好处。

例：假设二维平面上有一些系列样本点 ![20140724193533976][] ,他们的分布近似是一个围绕着原点的圆（见图1）。那么在这个二维的样本空间里，这些样本点满足的曲线方程为：

![20140724194704168][]

如果设非线性映射为：

![20140724194619630][]

那么在映射后的![20140724194842495][]的空间里，曲线方程变成了：

![20140724194702375][]

这意味着在新空间里，样本点是分布在一条近似直线上的，而不是之前的圆，很明显这利于线性可分。

![20140724195220256][]

图1.左图为原来的x所在的二维空间，右图为映射后的新的y空间

继续这个例子，我们已经知道了映射关系，那么在 y 空间中的向量内积会是什么样子的呢？

![20140724200722733][]

注意公式里的各种括号。\[x\]代表样本 x ,圆括号 (,) 表示样本的坐标,尖括号 <,> 代表代表向量内积。

由此我们知道 *y* 空间里两向量 ![20140724201052085][] 的内积，在 *x* 空间里确实一个关于![20140724201353826][]的函数，这个 *k* 函数就称为**核函数**。

所以总结一下核函数就是：在原样本空间中非线性问题，我们希望通过一种映射把他映射到高维空间里使问题变得线性。然后在高维空间里使用我们的算法就能解决问题。而此时不用映射到高维只需非线性投影即可得到相同的效果。当然这里按照前面的推导我们在高维空间里的运算是以向量内积为基础的。

回顾SVM里的应用得到的分类器表达式为：

![20140724210009617][]

把*x*经过映射后得到的表达式为：

![20140724210019273][]

由此就可以看到这里有高维空间里的内积，就能够用核函数代替这种内积了，而往往把高斯径向基函数作为核函数。

高斯径向基函数公式如下：

![20140724211406730][]

那么它有什么几何意义呢。

先看看*x*经过映射以后，在高维空间里这个点到原点的距离公式：

![20140724211827547][]

这表明样本x映射到高维空间后，![20140724212044250][]存在于一个**超球面上.**

接下来将讨论核函数为什么能替代映射到高维空间，径向基核又为什么能够映射到无限维空间。

先考虑普通的多项式核函数：

![k(x, y) = (x^Ty)^2][k_x_ y_ _ _x_Ty_2]，其中![x, y \\in \\mathbb\{R\}^2][x_ y _in _mathbb_R_2],并且 ![x = (x\_1, x\_2), y = (y\_1, y\_2)][x _ _x_1_ x_2_ y _ _y_1_ y_2].

因此这个多项式核函数能够写成：

![k(x, y) = (x\_1y\_1 + x\_2y\_2)^2][k_x_ y_ _ _x_1y_1 _ x_2y_2_2]![= x\_\{1\}^2y\_\{1\}^2 + 2x\_1x\_2y\_1y\_2 + x\_\{2\}^2y\_\{2\}^2][x_1_2y_1_2 _ 2x_1x_2y_1y_2 _ x_2_2y_2_2].

现在回到之前的映射

![k(x, y) = \\Phi(x)^T\\Phi(y)][k_x_ y_ _ _Phi_x_T_Phi_y]

并取 ![\\Phi(x) = (x\_1^2, \\sqrt\{2\}x\_1x\_2, x\_2^2)][Phi_x_ _ _x_1_2_ _sqrt_2_x_1x_2_ x_2_2]，注意此时是3维空间了，那么有

![\\Phi(x)^T\\Phi(y) = x\_1^2y\_1^2 + 2x\_1x\_2y\_1y\_2 + x\_2^2y\_2^2][Phi_x_T_Phi_y_ _ x_1_2y_1_2 _ 2x_1x_2y_1y_2 _ x_2_2y_2_2] .

这就是前面的 *k(x,y)*，因此，该核函数就将2维映射到了3维空间。

看完了普通核函数由2维向3维的映射，再来看看高斯径向基函数会把2维平面上一点映射到多少维。

![k(x, y) = \\exp(-\\|x - y\\|^2)][k_x_ y_ _ _exp_-_x - y_2]  
![= \\exp(- (x\_1 - y\_1)^2 - (x\_2 - y\_2)^2)][_exp_- _x_1 - y_1_2 - _x_2 - y_2_2]  
![= \\exp(- x\_1^2 + 2x\_1y\_1 - y\_1^2 - x\_2^2 + 2x\_2y\_2 - y\_2^2)][_exp_- x_1_2 _ 2x_1y_1 - y_1_2 - x_2_2 _ 2x_2y_2 - y_2_2]  
![= \\exp(-\\|x\\|^2) \\exp(-\\|y\\|^2) \\exp(2x^Ty)][_exp_-_x_2_ _exp_-_y_2_ _exp_2x_Ty]

呃，看看它的泰勒展开式你就会恍然大悟：

![k(x, y) = \\exp(-\\|x\\|^2) \\exp(-\\|y\\|^2) \\sum\_\{n = 0\}^\{\\infty\} \\frac\{(2x^Ty)^n\}\{n!\}][k_x_ y_ _ _exp_-_x_2_ _exp_-_y_2_ _sum_n _ 0_infty_ _frac_2x_Ty_n_n]

这个时候![\\Phi][Phi](x)就是一个无限维的了。

**二、RBF神经网络**

最基本的径向基函数（RBF）神经网络的构成包括三层，其中每一层都有着完全不同的作用。输入层由一些感知单元组成，它们将网络与外界环境连接起来；第二层是网络中仅有的一个隐层，它的作用是从输入空间到隐层空间之间进行非线性变换，在大多数情况下，隐层空间有较高的维数；输出层是线性的，它为作用于输入层的激活模式提供响应。

![20140724221546931][] ![20140724221632125][]

函数逼近的形式：

![y(\\mathbf\{x\}) = \\sum\_\{i=1\}^N w\_i \\, \\phi(\\|\\mathbf\{x\} - \\mathbf\{x\}\_i\\|),][y_mathbf_x_ _ _sum_i_1_N w_i _ _phi_mathbf_x_ - _mathbf_x_i]

个人觉得，隐含层的每个节点就是就是空间中的一个基底，经过线性组合加权以后就变成了输出。这种理解是通过逼近理论来理解的。

> > ![20140724222425484][]

这里的多项式P就是由基底![20140724222910910][]组成。隐含层每个节点对应的响应输出就像![20140724223015291][]这些基底的相应一样，训练权值就是找到每个基底前面的系数。

第二角度理解:

不知大家是否熟悉混合高斯模型，这里的逼近有点像混合高斯模型。也就是每个高斯函数在自己的中心附近作出突出贡献。

![20140724223854616][]

详见：《[径向基网络（RBF network）之BP监督训练][RBF network_BP]》。

当年径向基函数的诞生主要是为了解决多变量插值的问题。可以看下面的图。具体的话是先在每个样本上面放一个基函数，图中每个蓝色的点是一个样本，然后中间那个图中绿色虚线对应的，就表示的是每个训练样本对应一个高斯函数（高斯函数中心就是样本点）。然后假设真实的拟合这些训练数据的曲线是蓝色的那根（最右边的图），如果我们有一个新的数据x1，我们想知道它对应的f(x1)是多少，也就是a点的纵坐标是多少。那么由图可以看到，a点的纵坐标等于b点的纵坐标加上c点的纵坐标。而b的纵坐标是第一个样本点的高斯函数的值乘以一个大点权值得到的，c的纵坐标是第二个样本点的高斯函数的值乘以另一个小点的权值得到。而其他样本点的权值全是0，因为我们要插值的点x1在第一和第二个样本点之间，远离其他的样本点，那么插值影响最大的就是离得近的点，离的远的就没什么贡献了。所以x1点的函数值由附近的b和c两个点就可以确定了。拓展到任意的新的x，这些红色的高斯函数乘以一个权值后再在对应的x地方加起来，就可以完美的拟合真实的函数曲线了。

![20140724224331470][]

Reference：

1.Michael Eigensatz《Insights into the Geometry of the Gaussian Kernel and an Application in Geometric Modeling》

2.Quora 上的问题 [Why does the RBF (radial basis function) kernel map into infinite dimensional space?][Why does the RBF _radial basis function_ kernel map into infinite dimensional space]

3.[zouxy09][] 博文《[径向基网络（RBF network）之BP监督训练][RBF network_BP]》

4.如果想学SVM, JerryLead 的 《[支持向量机][Link 1]》系列 当然不能漏掉.

5.男神 Andrew Ng 的讲义是师祖.

[phi_mathbf_x_ _ _phi_mathbf_x]: http://upload.wikimedia.org/math/6/5/f/65fcf3c54e7442a0c6ea2b16988a9a81.png
[phi_mathbf_x_ _mathbf_c_ _ _phi_mathbf_x_-_mathbf_c]: /images/20220731/aa6bcb758c864b0b9d06ec06a80970b4.png
[20140724192500140]: https://img-blog.csdn.net/20140724192500140
[20140724193011477]: https://img-blog.csdn.net/20140724193011477
[20140724192629015]: https://img-blog.csdn.net/20140724192629015
[20140724192811375]: https://img-blog.csdn.net/20140724192811375
[20140724192846203]: /images/20220731/4b7095a947064165a146e9e09357139c.png
[20140724193533976]: /images/20220731/513216b83c1a4a398ae4fd6457c1d63c.png
[20140724194704168]: /images/20220731/321b269b1fa24daa8e71e2dc21323f27.png
[20140724194619630]: /images/20220731/2bb87235ffed47b2b612fe682eb67576.png
[20140724194842495]: /images/20220731/86ec38296e8b4cd285e35bcf7e36bf6e.png
[20140724194702375]: /images/20220731/d027b6d2b4464d3e9eaea806c571058a.png
[20140724195220256]: /images/20220731/fb009053389c4881bed0d865a8869556.png
[20140724200722733]: /images/20220731/c9a4a4f6a05a40e28a98bcd107d850b7.png
[20140724201052085]: https://img-blog.csdn.net/20140724201052085
[20140724201353826]: /images/20220731/d1642a92e1fd46df842afbeafac04f91.png
[20140724210009617]: /images/20220731/8587f29c56c3499e8e1cb5d93f2290f6.png
[20140724210019273]: /images/20220731/ae726d946a5d4688837dbebcd5bcc272.png
[20140724211406730]: /images/20220731/e67b6d59c0284a2ab9644fd85ce34e03.png
[20140724211827547]: /images/20220731/f19cc032dcc04ed38e80d99d853d72fc.png
[20140724212044250]: /images/20220731/b0f18843d9a94fe38b6c6d8d29102048.png
[k_x_ y_ _ _x_Ty_2]: http://qlx.is.quoracdn.net/main-2f17849b9c91590f.png
[x_ y _in _mathbb_R_2]: http://qlx.is.quoracdn.net/main-e4c4d94c45513dfe.png
[x _ _x_1_ x_2_ y _ _y_1_ y_2]: http://qlx.is.quoracdn.net/main-4d68b71bf77d1835.png
[k_x_ y_ _ _x_1y_1 _ x_2y_2_2]: http://qlx.is.quoracdn.net/main-3febe5998a6799a9.png
[x_1_2y_1_2 _ 2x_1x_2y_1y_2 _ x_2_2y_2_2]: http://qlx.is.quoracdn.net/main-abf4bee7fbe6d3ff.png
[k_x_ y_ _ _Phi_x_T_Phi_y]: http://qlx.is.quoracdn.net/main-cb46308b409365ab.png
[Phi_x_ _ _x_1_2_ _sqrt_2_x_1x_2_ x_2_2]: http://qlx.is.quoracdn.net/main-2d7a2573ce3fc098.png
[Phi_x_T_Phi_y_ _ x_1_2y_1_2 _ 2x_1x_2y_1y_2 _ x_2_2y_2_2]: http://qlx.is.quoracdn.net/main-e2cd0a9a44f2be2a.png
[k_x_ y_ _ _exp_-_x - y_2]: http://qlx.is.quoracdn.net/main-840e1d49ac51c001.png
[_exp_- _x_1 - y_1_2 - _x_2 - y_2_2]: http://qlx.is.quoracdn.net/main-fc36d3b3f3629aac.png
[_exp_- x_1_2 _ 2x_1y_1 - y_1_2 - x_2_2 _ 2x_2y_2 - y_2_2]: http://qlx.is.quoracdn.net/main-434888e016f68268.png
[_exp_-_x_2_ _exp_-_y_2_ _exp_2x_Ty]: http://qlx.is.quoracdn.net/main-93b3842fc4fdffb2.png
[k_x_ y_ _ _exp_-_x_2_ _exp_-_y_2_ _sum_n _ 0_infty_ _frac_2x_Ty_n_n]: http://qlx.is.quoracdn.net/main-aa3495de9453e4f6.png
[Phi]: http://qlx.is.quoracdn.net/main-0277ab2edb6ae0b8.png
[20140724221546931]: https://img-blog.csdn.net/20140724221546931
[20140724221632125]: /images/20220731/d01d8b3822c24d389dac9bbef7ea291b.png
[y_mathbf_x_ _ _sum_i_1_N w_i _ _phi_mathbf_x_ - _mathbf_x_i]: /images/20220731/286798e0bddf47c7b82e24f92ec2db62.png
[20140724222425484]: /images/20220731/7571891b239b4d7c9d4ac54070084306.png
[20140724222910910]: https://img-blog.csdn.net/20140724222910910
[20140724223015291]: /images/20220731/5d06d829207a4089b6b3176619e928ac.png
[20140724223854616]: /images/20220731/fbc29369c9584ce3b7a4ee475c329ae6.png
[RBF network_BP]: http://blog.csdn.net/zouxy09/article/details/13297881
[20140724224331470]: /images/20220731/5152ed65642642fa9baa0121f25b45c5.png
[Why does the RBF _radial basis function_ kernel map into infinite dimensional space]: http://www.quora.com/Machine-Learning/Why-does-the-RBF-radial-basis-function-kernel-map-into-infinite-dimensional-space
[zouxy09]: http://my.csdn.net/zouxy09
[Link 1]: http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988406.html