【降维PCA算法】机器学习公式推导计算+详细过程（入门必备）

左手的ㄟ右手 2023-02-23 07:51 36阅读 0赞

**PCA算法**

*  PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。
 *  在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪声有较小的方差。
 *  PCA正好可以借鉴信噪比这一理论，让数据在主轴上的投影方差最大。

**方差公式**

V ( x ) = 1 m ∑ i = 1 m ( x i − x ‾ ) 2 V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m (x\_i - \\overline\{x\})^2 V(x)=m1i=1∑m(xi−x)2

**PCA推导**

*  求方差最大化，可以令 x ‾ = 0 \\overline\{x\} = 0 x=0

V ( x ) = 1 m ∑ i = 1 m x i 2 V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m x\_i ^2 \\quad V(x)=m1i=1∑mxi2

*  将所有样本映射到主轴 w = ( w 1 , w 2 ) w = (w\_1, w\_2) w=(w1,w2)，使 V V V最大,即

V ( x ) = 1 m ∑ i = 1 m ∣ ∣ x i ∣ ∣ 2 V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m || x^i ||^2 \\quad V(x)=m1i=1∑m∣∣xi∣∣2

*  样本点$ X^i = (X^\{i\}\_1, X^\{i\}\_2)  到 主 轴 到主轴 到主轴 w = (w\_1, w\_2) $的距离表示

X i w = ∣ ∣ X i ∣ ∣ ∗ ∣ ∣ w ∣ ∣ ∗ c o s θ X^i w = ||X^i||\*||w||\*cos \\theta \\quad Xiw=∣∣Xi∣∣∗∣∣w∣∣∗cosθ

X i w = ∣ ∣ X i ∣ ∣ X^i w = ||X^i|| \\quad Xiw=∣∣Xi∣∣

\*\* 损失函数 \*\*

m a x V ( x ) = 1 m ∑ i = 1 m （ X i w ） 2 max \\quad V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m （ X^i w ）^2 \\quad maxV(x)=m1i=1∑m（Xiw）2

m a x V ( x ) = 1 m ∑ i = 1 m （ X 1 i w 1 + X 2 i w 2 + X 3 i w 3 + … + X n i w n ） 2 max \\quad V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m （ X^\{i\}\_1 w\_1 + X^\{i\}\_2 w\_2 + X^\{i\}\_3 w\_3 + … + X^\{i\}\_n w\_n）^2 \\quad maxV(x)=m1i=1∑m（X1iw1\+X2iw2\+X3iw3\+…\+Xniwn）2

m a x V ( x ) = 1 m ∑ i = 1 m （ ∑ j = 1 n X j i w j ） 2 max \\quad V(x) = \\frac\{1\}\{m\} \\sum\_\{i=1\} ^ m （ \\sum\_\{j=1\} ^ n X^\{i\}\_j w\_j ）^2 \\quad maxV(x)=m1i=1∑m（j=1∑nXjiwj）2

**梯度上升法求最优解**

**对损失函数求导**

∂ V ( x ) ∂ w j = 2 m ( X w ) T X \\frac\{\\partial V (x)\}\{\\partial w\_j\} = \\frac\{2\}\{m\} ( X w)^T X \\quad ∂wj∂V(x)=m2(Xw)TX

= 2 m X T （ X w ) = \\frac\{2\}\{m\} X^T （X w) \\quad =m2XT（Xw)

> > > #### 欢迎大家交流学习，任何问题都可以留言 ####