带你深入理解期望、方差、协方差的含义

客官°小女子只卖身不卖艺 2023-02-10 05:08 8阅读 0赞

## 基本概念 ##

先梳理一下概率论中的几个基本概念。

**事件**  
事件指某种情况的“陈述”，通俗来讲，事件就是一些case，比如A事件定义为，掷出骰子为偶数点=(2,4,6)，这个case包含了多个结果，其中，每个结果叫做一个**基本事件**，一个事件是由若干基本事件构成的。由此可见，**事件的本质是集合**。

有了事件，自然就有事件之间的关系，因为事件的本质是集合，所以我们可以用集合的运算符号来表达事件之间的基本逻辑关系，以下关系都可以用集合中的韦恩图来理解，这里就不画了。  
基本关系有 ：

蕴含与相等：如果当A发生时B必发生 ，记  A ⊂ B A\\subset B A⊂B，当 A ， B A，B A，B相互蕴含时，称两事件相等，记  A = B A=B A=B

互斥与对立：在一次试验中不可能同时发生，但可以都不发生，有A就没有B，有B没有A，但是可以同时没有A和B。互斥事件的一个重要情况是“对立事件”，若 A A A为一事件，则事件 B=\{A不发生\} ，记作  B = A ˉ B=\\bar\{A\} B=Aˉ

事件和（或称并）： A , B A,B A,B 中至少发生一个(并集)，记作  C = A + B C=A+B C=A\+B

事件积（或称并）： A A A发生且 B B B发生(交集)，记作  C = A B C=AB C=AB

事件差： A A A发生且 B B B不发生，记作  C = A − B = A B ˉ C=A-B=A \\bar\{B\} C=A−B=ABˉ

注意我们只是借用了算术中的运算符号来表达事件间的逻辑关系，算术的规则不一定能用于事件运算，这些符号不过是反映了事件间的一种逻辑关系，因而必须用逻辑思维的方式去验证。  
由事件的基本关系可进一步定义出更复杂的关系，如条件概率、事件独立、全概率、贝叶斯等，其中相关公式可以自行查阅资料。

**随机变量**  
**随机变量就是试验结果的函数**，它对试验结果的文字描述进行数字化，从而方便研究。比如抛一枚硬币，定义1=正面朝上 ，0=反面朝上，所以随机变量 X X X就代表抛硬币这个试验的结果，要么0要么1。  
随机变量按其可能取的值的全体的性质，区分为两大类，一类是离散型随机变量，一类是连续型随机变量。

**分布**  
研究一个随机变量的目的是为了进行预测，所以更重要的是它取各种值的概率如何，也就是分布如何，人们对生活中的现象进行规律总结，得到了一些比较常见的分布：  
离散型随机变量常见的分布有：

*  伯努利分布（两点分布，Bernoulli distribution）
 *  二项分布（binomial distribution）
 *  几何分布（geometric distribution）
 *  泊松分布（Poisson distribution）

连续型随机变量常见的分布有：

*  正态分布（normal distribution）
 *  指数分布（exponential distribution）

这些分布之间相互做运算又有更加复杂的分布，这里墙裂推荐一本书 <<概率论与数理统计>> 陈希孺，看过的人都说棒！ヽ(ˋДˊ)ノ

分布是随机变量的概率性质最完整的刻画，而随机变量的数字特征，则是由随机变量的分布所决定的**常数**，它刻画了随机变量（或者说，刻画了其分布）的某一方面的性质，人们往往也比较关心这些指标，常见的有期望，方差、协方差，下面分别介绍公式。

## 期望 ##

期望是随机变量取值的平均，以概率为权的对随机变量进行加权求和。

那么它和“平均数”有什么区别？  
平均数是一个统计学的概念，是对一组已经观察到的样本进行统计的量，而期望是一个概率论的概念，是根据已经存在的概率分布来“预测”样本的平均值的量，由于概率是频率随样本趋于无穷的极限，所以期望其实就是平均数随样本趋于无穷的极限，两者是通过大数定理联系起来的。

**性质**  
1. E ( X 1 + X 2 + ⋯ + X n ) = E ( X 1 ) + E ( X 2 ) + ⋯ + E ( X n ) E\\left(X\_\{1\}+X\_\{2\}+\\cdots+X\_\{n\}\\right)=E\\left(X\_\{1\}\\right)+E\\left(X\_\{2\}\\right)+\\cdots+E\\left(X\_\{n\}\\right) E(X1\+X2\+⋯\+Xn)=E(X1)\+E(X2)\+⋯\+E(Xn)（无条件成立）

2. E ( X 1 X 2 ⋯ X n ) = E ( X 1 ) E ( X 2 ) ⋯ E ( X n ) E\\left(X\_\{1\} X\_\{2\} \\cdots X\_\{n\}\\right)=E\\left(X\_\{1\}\\right) E\\left(X\_\{2\}\\right) \\cdots E\\left(X\_\{n\}\\right) E(X1X2⋯Xn)=E(X1)E(X2)⋯E(Xn)（独立情况下成立）

**计算**  
上述的定义是在我们知道概率分布的情况下计算期望的公式，但在实际应用中，我们往往是知道一组样本，我们需要通过样本来估计出总体，所以我们通常是用样本的统计量来估计这些数字特征。假如给定一个含有n个样本的集合，我们是通过样本平均值来估计期望：  
 X ˉ = ∑ i = 1 n X i n \\bar\{X\}=\\frac\{\\sum\_\{i=1\}^\{n\} X\_\{i\}\}\{n\} Xˉ=n∑i=1nXi

## 方差 ##

方差是用来衡量随机变量和其数学期望之间的偏离程度的量，通俗来说，就是用来衡量随机变量的波动程度，方差越大，那么这一组数据的波动幅度也就越大，稳定性就越小。

因为 X X X是随机的，所以偏离的量 X − E X X-EX X−EX本身也是随机的，为了避免正负相互抵消，对其取平方作为偏离量，很自然方差就是该偏离量的期望，定义为： Var ⁡ ( X ) = E ( X − E X ) 2 = E ( X 2 ) − ( E X ) 2 \\operatorname\{Var\}(X)=E(X-E X)^\{2\}=E\\left(X^\{2\}\\right)-(E X)^\{2\} Var(X)=E(X−EX)2=E(X2)−(EX)2  
**性质**  
1.常数的方差为0  
2.若C为常数，则  V a r ( X + C ) = V a r ( X ) Var(X+C)=Var(X) Var(X\+C)=Var(X)  
3.若C为常数，则  V a r ( C X ) = C 2 V a r ( X ) Var(CX)=C^2Var(X) Var(CX)=C2Var(X)  
4.独立情况下， Var ⁡ ( X 1 + ⋯ + X n ) = Var ⁡ ( X 1 ) + ⋯ + Var ⁡ ( X n ) \\operatorname\{Var\}\\left(X\_\{1\}+\\cdots+X\_\{n\}\\right)=\\operatorname\{Var\}\\left(X\_\{1\}\\right)+\\cdots+\\operatorname\{Var\}\\left(X\_\{n\}\\right) Var(X1\+⋯\+Xn)=Var(X1)\+⋯\+Var(Xn)，注意区别期望是无条件成立

**计算**  
假如给定一个含有n个样本的集合，则方差计算为：  
 σ 2 = ∑ i = 1 n ( X i − X ˉ ) 2 n − 1 \\sigma^\{2\}=\\frac\{\\sum\_\{i=1\}^\{n\}\\left(X\_\{i\}-\\bar\{X\}\\right)^\{2\}\}\{n-1\} σ2=n−1∑i=1n(Xi−Xˉ)2  
之所以除以n-1而不是除以n，是因为我们是用样本去估计总体，除n-1才是统计学上的“无偏估计”，这样能使我们以较小的样本集更好的逼近总体的标准差（有严格的数学推导，可以查阅资料）

**标准化**  
在机器学习中，我们的数据经常是一个向量 x x x，也就是多维随机变量，每个位置是一个特征，为了消除数据特征间 单位和量级差异的影响，往往需要对数据进行标准化，使每个特征的均值为 0、方差 1，这样特征间就是可比较的（以下符号都是向量）：  
 x ′ = x − x ˉ σ x^\{\\prime\}=\\frac\{x-\\bar\{x\}\}\{\\sigma\} x′=σx−xˉ

## 协方差 ##

协方差是多维随机变量的数字特征。在生活中，我们往往会从多个角度对一个事物进行观察，这些角度也就是所谓的“特征”，比如对于“人”，有身高、体重、胸围、臂长等特征，协方差就是用来衡量特征之前有没有相关关系的量。 以二维随机变量  ( X , Y ) (X, Y) (X,Y)为例，定义协方差为：  
 Cov ⁡ ( X , Y ) = E \[ ( X − E X ) ( Y − E Y ) \] = E ( X Y ) − ( E X ) ( E Y ) \\operatorname\{Cov\}(X, Y)=E\\left\[\\left(X- EX\\right)\\left(Y-EY\\right)\\right\]=E\\left(XY\\right)-(E X)(EY) Cov(X,Y)=E\[(X−EX)(Y−EY)\]=E(XY)−(EX)(EY)  
可以看到它的形式和方差非常相似，不过是吧其中一项换成了  ( Y − E Y ) (Y-EY) (Y−EY)，由定义可得 Cov ⁡ ( X , X ) = V a r ( X ) \\operatorname\{Cov\}(X, X)=\{Var\}(X) Cov(X,X)=Var(X)

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的，如果为负，则为负相关。从协方差可以引出“相关系数”的定义，衡量随机变量之相关程度更多的是用**相关系数**，可以看这篇文章 [相关系数——皮尔逊相关系数的公式及其理解][Link 1]

**性质**  
1.若  X , Y X, Y X,Y 独立,则  Cov ⁡ ( X , Y ) = 0 \\operatorname\{Cov\}(X, Y)=0 Cov(X,Y)=0，反过来不一定成立  
2.第一条的例外：当(  X , Y X, Y X,Y )为二维正态时, 由  Cov ⁡ ( X , Y ) = 0 \\operatorname\{Cov\}(X, Y)=0 Cov(X,Y)=0 能推出  X , Y X, Y X,Y 独立  
3.c为常数， Cov ⁡ ( c 1 X + c 2 , c 3 Y + c 4 ) = c 1 c 3 Cov ⁡ ( X , Y ) \\operatorname\{Cov\}\\left(c\_\{1\} X+c\_\{2\}, c\_\{3\} Y+c\_\{4\}\\right)=c\_\{1\} c\_\{3\} \\operatorname\{Cov\}(X, Y) Cov(c1X\+c2,c3Y\+c4)=c1c3Cov(X,Y)

**计算**  
假如给定一个含有n个样本的集合，则协方差计算为：  
 Cov ⁡ ( x , y ) = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \\operatorname\{Cov\}(x, y)=\\frac\{1\}\{n-1\} \\sum\_\{i=1\}^\{n\}\\left(x\_\{i\}-\\bar\{x\}\\right)\\left(y\_\{i\}-\\bar\{y\}\\right) Cov(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)

**协方差矩阵**  
协方差也只能处理二维问题，维数多了就需要计算多个协方差，我们是用矩阵来进行组织，也就是协方差矩阵。以三维随机变量 ( x , y , z ) (x,y,z) (x,y,z)为例，则协方差矩阵为：  
 C = ( cov ⁡ ( x , x ) cov ⁡ ( x , y ) cov ⁡ ( x , z ) cov ⁡ ( y , x ) cov ⁡ ( y , y ) cov ⁡ ( y , z ) cov ⁡ ( z , x ) cov ⁡ ( z , y ) cov ⁡ ( z , z ) ) C=\\left(\\begin\{array\}\{ccc\} \\operatorname\{cov\}(x, x) & \\operatorname\{cov\}(x, y) & \\operatorname\{cov\}(x, z) \\\\ \\operatorname\{cov\}(y, x) & \\operatorname\{cov\}(y, y) & \\operatorname\{cov\}(y, z) \\\\ \\operatorname\{cov\}(z, x) & \\operatorname\{cov\}(z, y) & \\operatorname\{cov\}(z, z) \\end\{array\}\\right) C=⎝⎛cov(x,x)cov(y,x)cov(z,x)cov(x,y)cov(y,y)cov(z,y)cov(x,z)cov(y,z)cov(z,z)⎠⎞  
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差，协方差矩阵很有用，可以用来对数据进行更高级的分析，这里就不说了。

如果对你有帮助，请点个赞:-D

[Link 1]: https://blog.csdn.net/MoreAction_/article/details/106195689