数据挖掘--PCA原理

约定不等于承诺〃 2022-05-17 04:40 212阅读 0赞

### 一、PCA原理： ###

•主成分分析（Principal Components Analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。

> **算法流程：**
> 
> 输入：n为样本集![D=(x^\{(1)\}, x^\{(2)\},...,x^\{(m)\})][D_x_1_ x_2_..._x_m] ，设为 X， 需要降维到 ![\{n\}'][n]
> 
> 输出： 降维后的样本集 ![\{D\}'][D]
> 
> （1）先对所有的数据集进行中心化：![x^\{(i)\} = x^\{(i)\} - \\frac\{1\}\{m\}\\sum\\limits\_\{j=1\}^\{m\} x^\{(j)\}][x_i_ _ x_i_ - _frac_1_m_sum_limits_j_1_m_ x_j]
> 
> （2）计算样本的协方差矩阵 ： ![XX^\{T\}][XX_T]
> 
> （3）对协方差矩阵进行求特征值和特征向量
> 
> （4）取出![\{n\}'][n] 个最大的特征值对应的特征向量![(w\_1,w\_2,...,w\_\{n'\})][w_1_w_2_..._w_n]， 将所有的特征向量标准化，组成新的矩阵 w
> 
> （5）输出矩阵：Y= WX 即为降 维到 ![\{n\}'][n] 维后的数据

基于最大投影方差：

假设m个n维数据![(x^\{(1)\}, x^\{(2)\},...,x^\{(m)\})][x_1_ x_2_..._x_m] 都已经对其进行中心化处理了， ![\\sum\\limits\_\{i=1\}^\{m\}x^\{(i)\}=0][sum_limits_i_1_m_x_i_0]， 经过投影变换后得到的新坐标系为![(w\_1,w\_2,...,w\_\{n'\})][w_1_w_2_..._w_n],其中w 是标准正交基，即![||w||\_2=1, w\_i^Tw\_j=0][w_2_1_ w_i_Tw_j_0]。

如果我们将数据从n维降到n'维，即丢弃新坐标系中的部分坐标，则新的坐标系为![\\\{w\_1,w\_2,...,w\_\{n'\}\\\}][w_1_w_2_..._w_n 1],样本点x(i)在n'维坐标系中的投影为：![z^\{(i)\} = (z\_1^\{(i)\}, z\_2^\{(i)\},...,z\_\{n'\}^\{(i)\})][z_i_ _ _z_1_i_ z_2_i_..._z_n_i].其中，![z\_j^\{(i)\} = w\_j^Tx^\{(i)\}][z_j_i_ _ w_j_Tx_i]是x(i)在低维坐标系里第j维的坐标。

对于任意一个样本x(i)，在新的坐标系中的投影为![W^Tx^\{(i)\}][W_Tx_i] ,在新坐标系中的投影方差为![W^Tx^\{(i)\}x^\{(i)T\}W][W_Tx_i_x_i_T_W]，要使所有的样本的投影方差和最大，也就是最大化![\\sum\\limits\_\{i=1\}^\{m\}W^Tx^\{(i)\}x^\{(i)T\}W][sum_limits_i_1_m_W_Tx_i_x_i_T_W],即：

![\\underbrace\{arg\\;max\}\_\{W\}\\;tr( W^TXX^TW) \\;\\;s.t. W^TW=I][underbrace_arg_max_W_tr_ W_TXX_TW_ _s.t. W_TW_I]

![20150304202016698][]

u1方向上的投影的绝对值之和最大（也可以说方差最大），就是将x与u1做内积。将u1标准化为单位向量。

使用拉格朗日函数可以得到：

![J(W) = tr( W^TXX^TW) + \\lambda(W^TW-I)][J_W_ _ tr_ W_TXX_TW_ _ _lambda_W_TW-I]

对W求导有![XX^TW+\\lambda W=0][XX_TW_lambda W_0], 整理下即为：

![XX^TW=\\left ( -\\lambda \\right )W][XX_TW_left _ -_lambda _right _W]

对W 的求导可以把 ![W^\{T\}W=W^\{T\}E W][W_T_W_W_T_E W], 然后再使用下面的公式进行求导，两边都有个2 ，可以约去。

对于矩阵的求导可以参考：[https://blog.csdn.net/xueyingxue001/article/details/51829718][https_blog.csdn.net_xueyingxue001_article_details_51829718]

![20160705110335772][]

![20160705110346384][]

几个常用的向量求导公式：

![20160705110350803][]

如果 y = xT·A·x的话，y对向量x求偏导的结果是

![20160705110355259][]

如果这时A有时对称阵，则：

![20160705110400475][]

> 由于协方差矩阵是对称的，因此其特征向量正交。最后一步的矩阵乘法就是将原始样本点分别往特征向量对应的轴上做投影。
> 
> 如果数据集是100 X 10，100行10列的，需要保留4个特征量，即选出4个最大的特征值，使原数据（100 X 10）\* （10 X 4）=（100 X 4 ），10乘4 代表4个重要的特征向量聚合。

--------------------

![20200423163141472.PNG][]

参考：[https://blog.csdn.net/zhongkelee/article/details/44064401][https_blog.csdn.net_zhongkelee_article_details_44064401]此文章讲的比较详细

[http://www.cnblogs.com/pinard/p/6239403.html][http_www.cnblogs.com_pinard_p_6239403.html]

###  ###

[D_x_1_ x_2_..._x_m]: https://private.codecogs.com/gif.latex?D%3D%28x%5E%7B%281%29%7D%2C%20x%5E%7B%282%29%7D%2C...%2Cx%5E%7B%28m%29%7D%29
[n]: https://private.codecogs.com/gif.latex?%7Bn%7D%27
[D]: https://private.codecogs.com/gif.latex?%7BD%7D%27
[x_i_ _ x_i_ - _frac_1_m_sum_limits_j_1_m_ x_j]: https://private.codecogs.com/gif.latex?x%5E%7B%28i%29%7D%20%3D%20x%5E%7B%28i%29%7D%20-%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bj%3D1%7D%5E%7Bm%7D%20x%5E%7B%28j%29%7D
[XX_T]: https://private.codecogs.com/gif.latex?XX%5E%7BT%7D
[w_1_w_2_..._w_n]: https://private.codecogs.com/gif.latex?%28w_1%2Cw_2%2C...%2Cw_%7Bn%27%7D%29
[x_1_ x_2_..._x_m]: https://private.codecogs.com/gif.latex?%28x%5E%7B%281%29%7D%2C%20x%5E%7B%282%29%7D%2C...%2Cx%5E%7B%28m%29%7D%29
[sum_limits_i_1_m_x_i_0]: https://private.codecogs.com/gif.latex?%5Csum%5Climits_%7Bi%3D1%7D%5E%7Bm%7Dx%5E%7B%28i%29%7D%3D0
[w_2_1_ w_i_Tw_j_0]: https://private.codecogs.com/gif.latex?%7C%7Cw%7C%7C_2%3D1%2C%20w_i%5ETw_j%3D0
[w_1_w_2_..._w_n 1]: https://private.codecogs.com/gif.latex?%5C%7Bw_1%2Cw_2%2C...%2Cw_%7Bn%27%7D%5C%7D
[z_i_ _ _z_1_i_ z_2_i_..._z_n_i]: https://private.codecogs.com/gif.latex?z%5E%7B%28i%29%7D%20%3D%20%28z_1%5E%7B%28i%29%7D%2C%20z_2%5E%7B%28i%29%7D%2C...%2Cz_%7Bn%27%7D%5E%7B%28i%29%7D%29
[z_j_i_ _ w_j_Tx_i]: https://private.codecogs.com/gif.latex?z_j%5E%7B%28i%29%7D%20%3D%20w_j%5ETx%5E%7B%28i%29%7D
[W_Tx_i]: https://private.codecogs.com/gif.latex?W%5ETx%5E%7B%28i%29%7D
[W_Tx_i_x_i_T_W]: https://private.codecogs.com/gif.latex?W%5ETx%5E%7B%28i%29%7Dx%5E%7B%28i%29T%7DW
[sum_limits_i_1_m_W_Tx_i_x_i_T_W]: https://private.codecogs.com/gif.latex?%5Csum%5Climits_%7Bi%3D1%7D%5E%7Bm%7DW%5ETx%5E%7B%28i%29%7Dx%5E%7B%28i%29T%7DW
[underbrace_arg_max_W_tr_ W_TXX_TW_ _s.t. W_TW_I]: https://private.codecogs.com/gif.latex?%5Cunderbrace%7Barg%5C%3Bmax%7D_%7BW%7D%5C%3Btr%28%20W%5ETXX%5ETW%29%20%5C%3B%5C%3Bs.t.%20W%5ETW%3DI
[20150304202016698]: /images/20220517/99466de3cb4145c1956fa64cf7ed98b5.png
[J_W_ _ tr_ W_TXX_TW_ _ _lambda_W_TW-I]: https://private.codecogs.com/gif.latex?J%28W%29%20%3D%20tr%28%20W%5ETXX%5ETW%29%20&plus;%20%5Clambda%28W%5ETW-I%29
[XX_TW_lambda W_0]: https://private.codecogs.com/gif.latex?XX%5ETW&plus;%5Clambda%20W%3D0
[XX_TW_left _ -_lambda _right _W]: https://private.codecogs.com/gif.latex?XX%5ETW%3D%5Cleft%20%28%20-%5Clambda%20%5Cright%20%29W
[W_T_W_W_T_E W]: https://private.codecogs.com/gif.latex?W%5E%7BT%7DW%3DW%5E%7BT%7DE%20W
[https_blog.csdn.net_xueyingxue001_article_details_51829718]: https://blog.csdn.net/xueyingxue001/article/details/51829718
[20160705110335772]: /images/20220517/b08c1a4d22484c27b060482161817ff8.png
[20160705110346384]: /images/20220517/2700ad72a13b49dbbe89c70b51103948.png
[20160705110350803]: /images/20220517/2cdac795c91848c4abc1c684aff43a2a.png
[20160705110355259]: /images/20220517/7397b4020fa94ec78012f5ea84571b51.png
[20160705110400475]: /images/20220517/6a860d63d7f047bca485acfde0c1a5d5.png
[20200423163141472.PNG]: /images/20220517/c831f1dec5dc41be8e07f3a62b0ae613.png
[https_blog.csdn.net_zhongkelee_article_details_44064401]: https://blog.csdn.net/zhongkelee/article/details/44064401
[http_www.cnblogs.com_pinard_p_6239403.html]: http://www.cnblogs.com/pinard/p/6239403.html