Machine Learning 3 - 主成分(PCA)算法分析

墨蓝 2022-06-08 11:26 201阅读 0赞

--------------------

AI

机器学习第三篇 - 主成分分析（Principal Compoent Analysis, PCA）。

今天趁下班后看了一会主成分分析算法介绍，其实之前有参加TK同事Machine Learning的系列分享，正好今天看到，现学现卖。

我们机器学习的系列介绍，以较为基础的基本理论为开始，逐步深入算法，以及过多到更多实际应用；

相信开始是比较枯燥和基础的，万丈高楼平地起，地基的牢固与否是决定你未来能走多高多远。

目录

*  PCA定义
 *  分析目标
 *  基本原理
 *  数学实现
 *  PCA作用
 *  实际案例
 *  小结

1

主成分分析（PCA）

主成分分析（Principal Compoent Analysis, PCA）,是一种统计方法，也是在机器学习领域经常出现，常用到的一种算法，有必要单独而又简要的介绍。

PCA定义

简单来说：

PCA主成分分析，字如其意，抓其主要矛盾，利用降维思想，把多个指标转换为少数几个主要指标，抓大放小。

学术定义：

PCA作为统计学中简化数据集技术的一种，本质是一个线性变换，把数据集变换到一个新的坐标系统，使得任何数据投影的：

*  第一大方差在第一个坐标（第一主成分）
 *  第二大方差在第二个坐标（第二主成分）
 *  ...

方差：

统计数据中，当数据分别比较分散，各个数据与平均数的差的平方和较大，方差较大；反之数据分布比较集中时，其方差较小。

所以，方差反应了统计数据的波动性，方差越小，数据波动越小。

上述采用通过选取线性组合得到的第一大方差，即其包含的信息最多，因此导致其方差最大，固称为第一主因。

2

主成分分析目标

实际目标：

实际应用统计中，为更详尽的反映所研究问题信息，一组统计数据会有很多维度，或者指标，在统计分析中称为变量；如宏观经济的统计，会有多个经济指标。

*  通常来看，多个指标之间彼此会有一定的相关性，所以其所得到的统计数据信息一定程度上有重叠；
 *  同时，在研究多变量问题时，太多变量会导致急剧的计算量，分析的复杂性上升

3

基本原理

基本原理：

主成分分析作为一种降维方法，其本质原理是借助一个正交变换，将其分量相关的原随机向量转化为其分量不相关的新随机向量：

![xm][]

*  代数上表现为将原随机向量的协方差变换为对角形阵
 *  几何上表现为将原坐标系变换成新的直角（正交）坐标系

正交变换： 正交变换是保持图形形状和大小不变的几何变换，包含旋转，轴对称及上述变换的复合

举例来说，如上图三维坐标系x,y,z，通过PCA变换，即几何上把坐标轴旋转把数据所在平面与x，y平面重合，把旋转后的坐标系称为为x',y',z'，其实即x'，y'即可。代数上即把矩阵的秩（极大线性无关向量个数，rank(A) ）从3降到2。

4

数学实现

数学实现：

数学上，通常将原来的P个指标的线性组合，用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，Va(F1)越大，表示F1所包含信息量越大，如果在所有线性组合中，Va(F1)最大，则称F1为第一主成因。依此算法继续选取F2,但要保证Cov(F1,F2) = 0, 选出F2作为第二主成分，依此类推。

5

PCA作用

PCA作用：

主成分分析坐到了在减少数据集降维的同时，通过仅保留低阶主成分，忽略高阶主成分，做到了同时保持了数据集对方差贡献最大的特征（也并非绝对）。

*  有效降维，信息压缩，减少噪音及冗余信息
 *  降维到3，2后进行图形分析，分类检测
 *  降维后加速计算速度  
    
 *  由主成分构造回归模型
 *  筛选回归变量（Feature Selection），构造最佳变量集合

6

PCA实际案例

数据压缩：

在机器学习／深度学习宝典中，提及了使用PCA来进行数据压缩的例子。

PCA算法将n个特征降维到k个，如100维的向量最后可以用如10维来表示，则其数据压缩率为90%。

图像处理：

PCA在图像处理领域最著名的应用应该属其在人脸识别中特征提取及数据维，如输入200\*200像素大小的人脸，如果单单提取起灰度作为原始特征，则这个原始特征将达到40000维度，其负责度可见一斑。

著名的人脸识别算法Eigenface就采用了PCA，用一个低纬度的空间描述人脸，同时保存了识别所需要的信息， K-L变换：

K-L （Karhunen-loeve）变换：最优正交变换

*  常用的特征值提取方法
 *  最小均误差下的最优正交变换
 *  消除模式特征之间的相关性，突出特异性

数学公式，省略n个.... 避免公众号睡眠

[xm]: https://img.xiumi.us/xmi/ua/qcBg/i/45f1326d0085ee981d2ccaa6c730f237-sz_38572.jpeg?x-oss-process=style/xm

发表评论取消回复

表情：

评论列表（有 0 条评论，201人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python实现主成分分析（PCA）算法

Python实现主成分分析（PCA）算法主成分分析（PCA）是一种常用的数据降维方法，通过将高维数据投影到低维空间中，保留最重要的特征信息。在本文中，我们将介绍如何使用Py

╰半夏微凉°/ 2024年03月25日 20:57/ 0 赞/ 69 阅读

相关 PCA(主成分分析)算法

因为对PCA算法的好奇，所以就写一篇笔记记录一下自己学习的过程。文章目录一、简介二、代码实现 2.1 实现步骤： 2.

Love The Way You Lie/ 2022年12月10日 07:19/ 0 赞/ 264 阅读

相关 PCA （主成分分析）详解

PCA （主成分分析）详解（写给初学者）结合matlab 一、简介 PCA（Principal Components Analysis）即主成分分析，是

超、凢脫俗/ 2022年09月23日 08:09/ 0 赞/ 229 阅读

相关 PCA主成分分析

Sklearn中的降维算法 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NE

素颜马尾好姑娘i/ 2022年09月11日 12:26/ 0 赞/ 285 阅读

相关 Machine Learning 3 - 主成分(PCA)算法分析

-------------------- AI 机器学习第三篇 - 主成分分析（Principal Compoent Analysis, PCA）。

墨蓝/ 2022年06月08日 11:26/ 0 赞/ 202 阅读

相关 python主成分分析PCA

主成分PCA分析的基本步骤： · 对数据进行归一化处理（代码中并非这么做的，而是直接减去均值） · 计算归一化后的数据集的协方差矩阵 · 计算协方差矩阵的特征值和特征

我会带着你远行/ 2022年05月21日 11:27/ 0 赞/ 275 阅读

相关 PCA 主成分分析 KPCA

文章目录主成分分析 PCA 1. 结论 1. 单位向量的投影表示：

╰+攻爆jí腚メ/ 2022年04月14日 04:46/ 0 赞/ 450 阅读

相关 Python scikit-learn，特征降维，主成分分析，PCA

PCA(Principal Component Analysis)主成分分析是一种分析、简化数据集的技术。 PCA目的：数据维数压缩，尽可能降低原数据的维数（复杂度），损失少

怼烎@/ 2022年03月17日 15:44/ 0 赞/ 258 阅读

相关主成分分析PCA

降维的必要性 1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。 2.高维空间本身具有稀疏性。一维正态分布有68%的值落

太过爱你忘了你带给我的痛/ 2022年01月16日 10:49/ 0 赞/ 473 阅读

相关 PCA-主成分分析

一、PCA简介 1.背景 > 许多领域的研究与应用中，收集大量数据(提供了丰富的信息)以便进行分析寻找规律，但也在一定程度上增加了数据采集的工作量。更重要的是在多数情况

待我称王封你为后i/ 2021年09月21日 12:38/ 0 赞/ 695 阅读