【概率论与数理统计 Probability and Statistics 12】—— 随机变量的数字特征1

客官°小女子只卖身不卖艺 2023-07-25 06:19 11阅读 0赞

### 文章目录 ###

*  一、数学期望
 *  1.1 一维离散型随机变量的数学期望
 *   *  1.1.1 几种常见离散型分布的数学期望
 *  1.2 一维离散型随机变量函数的数学期望
 *  1.3 一维连续型随机变量的数学期望
 *   *  1.3.1 几种常见连续型分布的数学期望
 *  1.4 一维连续型随机变量函数的数学期望
 *  1.5 数学期望的性质
 *   *  1.6 二维随机变量的期望
 *  二、方差
 *   *  2.1 方差的性质
     *  2.2 协方差
     *   *  2.2.1 二维离散型随机变量的协方差计算
         *  2.2.2 二维连续型随机变量的协方差计算
         *  2.2.3 协方差的一些性质

# 一、数学期望 #

# 1.1 一维离散型随机变量的数学期望 #

这里大家在中学应该都学过：一维离散型随机变量的数学期望就是把每一个  x x x 和它对应的  P P P 相乘。 E \[ X \] = ∑ i = 1 ∞ x i p i E\[X\] = \\sum\_\{i=1\}^\{∞\}x\_ip\_i E\[X\]=i=1∑∞xipi

## 1.1.1 几种常见离散型分布的数学期望 ##

【1】二项分布的数学期望：若  X X X ~  B ( n , p ) B(n, p) B(n,p) 那么， E X = n p EX = np EX=np  
【2】泊松分布的数学期望：若  X X X ~  P o i s ( λ ) Pois(λ) Pois(λ) 那么， E X = λ ， D X = λ EX = λ，DX=λ EX=λ，DX=λ  
【3】几何分布的数学期望：

# 1.2 一维离散型随机变量函数的数学期望 #

如果有： Y = g ( X ) Y = g(X) Y=g(X) 那么  E \[ g ( X ) \] E\[g(X)\] E\[g(X)\] 可以表示为： E \[ g ( X ) \] = ∑ i = 1 ∞ g ( x i ) p i E\[g(X)\] = \\sum\_\{i=1\}^\{∞\}g(x\_i)p\_i E\[g(X)\]=i=1∑∞g(xi)pi

# 1.3 一维连续型随机变量的数学期望 #

这里我们直接上公式： E X = ∫ − ∞ + ∞ x f X ( x ) d x EX = \\int\_\{-∞\}^\{+∞\}xf\_X(x)dx EX=∫−∞\+∞xfX(x)dx

## 1.3.1 几种常见连续型分布的数学期望 ##

【1】均匀分布：若  X X X ~  U \[ a , b \] U\[a, b\] U\[a,b\]那么， E X = a + b 2 EX = \\frac\{a+b\}\{2\} EX=2a\+b  
【2】正态分布：若  X X X ~  N ( μ , σ 2 ) N(μ, σ^2) N(μ,σ2)，那么其数学期望为  E X = μ EX = μ EX=μ  
【3】指数分布：若  X X X ~  E x p ( λ ) Exp(λ) Exp(λ)，那么其数学期望为： E X = 1 λ EX = \\frac\{1\}\{λ\} EX=λ1

# 1.4 一维连续型随机变量函数的数学期望 #

# 1.5 数学期望的性质 #

1.  常数 C 的数学期望也是 C： E C = C EC = C EC=C
2.   E ( X + C ) = E X + C E(X + C) = EX + C E(X\+C)=EX\+C 这里我们一样进行类比：假设全班同学在测量身高的时候都站在了一般高的砖头上，那么必然平均身高测出来就会高。
3.   E ( k X + b ) = k E X + b E(kX+b) = kEX + b E(kX\+b)=kEX\+b
4.   E ( X ± Y ) = E X ± E Y E(X ± Y) = EX ± EY E(X±Y)=EX±EY
5.  当  X , Y X, Y X,Y 独立时， E ( X Y ) = E X ⋅ E Y E(XY) = EX \\sdot EY E(XY)=EX⋅EY

## 1.6 二维随机变量的期望 ##

这一部分将在本博客的第2.2.1 和 2.2.2 节详细介绍！

# 二、方差 #

我们以身高为例，期望反应的是全班同学的平均身高，那么方差反应的就是全班同学身高的**起伏**  
下面给出方差的定义式： D X = E ( X − E X ) 2 DX = E(X - EX)^2 DX=E(X−EX)2，值得注意的是，我们这里是对  ( X − E X ) 2 (X - EX)^2 (X−EX)2 求期望。

下面我们分别给出离散型和连续型随机变量的方差的定义：  
【1】离散型： D X = ∑ k ( x k − E X ) 2 P k DX = \\sum\_k(x\_k - EX)^2P\_k DX=∑k(xk−EX)2Pk  
【2】连续型： D X = ∫ − ∞ + ∞ ( x − E X ) 2 f X ( x ) d x DX = \\int\_\{-∞\}^\{+∞\}(x-EX)^2f\_X(x)dx DX=∫−∞\+∞(x−EX)2fX(x)dx

但是，往往在解题的时候我们很少用到（当然有时候也会有用）方差的定义，我们常常用这样一个公式： D X = E X 2 − ( E X ) 2 DX = EX^2 - (EX)^2 DX=EX2−(EX)2

## 2.1 方差的性质 ##

1.  常数C 的方差恒为0： D C = 0 DC = 0 DC=0
2.   D ( X + C ) = D X D(X+C) = DX D(X\+C)=DX 我们可以这样理解全班同学在测量身高时都站在一般高的砖头上了，那很明显大家都站高了一点对总的身高起伏是没有影响的。
3.   D ( C X ) = C 2 D X D(CX) = C^2DX D(CX)=C2DX 这里需要特别注意的是，在方差运算里面把常数 C 提出来需要变成  C 2 C^2 C2
4.   D ( k X + b ) = k 2 D X D(kX+b) = k^2DX D(kX\+b)=k2DX（这个其实就是性质二和性质三的结合）
5.  若  X , Y X, Y X,Y 独立，则  D ( X ± Y ) = D X + D Y D(X±Y) = DX + DY D(X±Y)=DX\+DY

## 2.2 协方差 ##

我们先来看看协方差的定义： C o v ( X , Y ) = E \[ ( X − E X ) ( Y − E Y ) \] Cov(X, Y) = E\[(X-EX)(Y-EY)\] Cov(X,Y)=E\[(X−EX)(Y−EY)\]  
我们一般很少用这个定义去计算协方差，而是用下面的公式：  
 C o v ( X , Y ) = E \[ ( X − E X ) ( Y − E Y ) \] = E \[ X Y − X E Y − Y E X + E X E Y \] = E ( X Y ) − E X E Y Cov(X,Y) = E\[(X-EX)(Y-EY)\] = E\[XY - XEY - YEX +EXEY\] =E(XY)-EXEY Cov(X,Y)=E\[(X−EX)(Y−EY)\]=E\[XY−XEY−YEX\+EXEY\]=E(XY)−EXEY  
所以大家就要记得这个公式： C o v ( X , Y ) = E ( X Y ) − E X E Y Cov(X,Y) = E(XY) - EXEY Cov(X,Y)=E(XY)−EXEY。同时说一句，大家看这个定义就知道，**Cov 是针对二维随机变量的。**

进一步讲，我们在刚刚讨论协方差的性质时，不是有一条：**若  X , Y X, Y X,Y 独立，则  D ( X ± Y ) = D X + D Y D(X±Y) = DX + DY D(X±Y)=DX\+DY** 那么下面我们将把约束条件减小：  
即对于任意X, Y ，均有： D ( X ± Y ) = D X + D Y ± 2 C o v ( X , Y ) D(X±Y) = DX + DY ± 2Cov(X, Y) D(X±Y)=DX\+DY±2Cov(X,Y)

### 2.2.1 二维离散型随机变量的协方差计算 ###

这里有固定的套路。我来解释解释：首先上公式： C o v ( X , Y ) = E ( X Y ) − E X E Y Cov(X,Y) = E(XY) - EXEY Cov(X,Y)=E(XY)−EXEY

1.  计算出X, Y 的边缘分布 ，然后根据它们的边缘分布表算出  E X , E Y EX, EY EX,EY
2.  对于  E ( X Y ) E(XY) E(XY) 的计算，其实是和求一维随机变量期望原理一样的，就是把每一个(X, Y)对 相乘，然后乘上它们对应的联合概率，然后把所有这些项加起来。

我们举一个例子，就一目了然了：

<table> 
 <thead> 
 <tr> 
 <th> X Y X\raisebox{0.25em}{Y} XY</th> 
 <th>-1</th> 
 <th>0</th> 
 <th>1</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>-1</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 </tr> 
 <tr> 
 <td>0</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 <td>0</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 </tr> 
 <tr> 
 <td>1</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 <td> 1 8 \frac{1}{8} 81</td> 
 </tr> 
 </tbody> 
</table>

下面计算  C o v ( X , Y ) Cov(X,Y) Cov(X,Y)

【第一步】先计算 X, Y 的边缘分布：

根据两个边缘分布表，我们就可以分别计算出  E X , E Y EX, EY EX,EY：  
EX = -1x 3 8 \\frac\{3\}\{8\} 83 \+ 1x 3 8 \\frac\{3\}\{8\} 83 = 0；EY = -1x 3 8 \\frac\{3\}\{8\} 83 \+ 1x 3 8 \\frac\{3\}\{8\} 83 = 0

【第二步】计算  E ( X Y ) E(XY) E(XY)  
下面大家注意下面的式子：  
E(XY) = (-1)x(-1)x 1 8 \\frac\{1\}\{8\} 81 \+ (-1)x1x 1 8 \\frac\{1\}\{8\} 81 \+ 1x(-1)x 1 8 \\frac\{1\}\{8\} 81 \+ 1x1x 1 8 \\frac\{1\}\{8\} 81 = 0

因此，最终我们得出： C o v ( X , Y ) = 0 Cov(X,Y) = 0 Cov(X,Y)=0

**但是这里需要特别注意一件事情：协方差等于0能够推导出不相关，独立可推出不相关，但是不相关不能推出独立！**

### 2.2.2 二维连续型随机变量的协方差计算 ###

已知： f ( x , y ) = \{ x + y i f ( 0 ≤ x ≤ 1 , 0 ≤ y ≤ 1 ) 0 e l s e f(x,y) = \\begin\{cases\} x+y\\quad if(0≤x≤1, 0≤y≤1)\\\\ 0\\quad else\\\\ \\end\{cases\} f(x,y)=\{ x\+yif(0≤x≤1,0≤y≤1)0else  
计算  C o v ( X , Y ) Cov(X,Y) Cov(X,Y)

【第一步】也是先计算 X,Y 的边缘分布： f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y = ∫ 0 1 ( x + y ) d y = x + 1 2 \\begin\{aligned\} f\_X(x) &= \\int\_\{-∞\}^\{+∞\}f(x,y)dy = \\int\_\{0\}^1(x+y)dy = x+\\frac\{1\}\{2\} \\end\{aligned\} fX(x)=∫−∞\+∞f(x,y)dy=∫01(x\+y)dy=x\+21  
同理也可以算出 Y 的边缘分布： f Y ( y ) = y + 1 2 f\_Y(y) = y+\\frac\{1\}\{2\} fY(y)=y\+21  
因此，下面就可以开始计算  E X , E Y EX,EY EX,EY：  
 E X = ∫ − ∞ + ∞ x f X ( x ) d x = ∫ 0 1 x ( x + 1 2 ) d x = 7 12 EX = \\int\_\{-∞\}^\{+∞\}xf\_X(x)dx = \\int\_0^1x(x+\\frac\{1\}\{2\})dx = \\frac\{7\}\{12\} EX=∫−∞\+∞xfX(x)dx=∫01x(x\+21)dx=127  
同理算出 EX =  7 12 \\frac\{7\}\{12\} 127

【第二步】计算 E(XY)：  
 E ( X Y ) = ∬ D ( x y ) f ( x , y ) d x d y = ∫ 0 1 ∫ 0 1 x y ( x + y ) d x d y = 1 3 \\begin\{aligned\} E(XY) &= \\iint\_D(xy)f(x,y)dxdy\\\\ &=\\int\_0^1\\int\_0^1xy(x+y)dxdy\\\\ &=\\frac\{1\}\{3\} \\end\{aligned\} E(XY)=∬D(xy)f(x,y)dxdy=∫01∫01xy(x\+y)dxdy=31  
最后我们就得出： C o v ( X , Y ) = 1 3 − 7 12 7 12 = − 1 144 Cov(X,Y) = \\frac\{1\}\{3\} - \\frac\{7\}\{12\}\\space \\frac\{7\}\{12\} = -\\frac\{1\}\{144\} Cov(X,Y)=31−127127=−1441

### 2.2.3 协方差的一些性质 ###

1.   C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y) = Cov(Y, X) Cov(X,Y)=Cov(Y,X)
2.   C o v ( a X , b Y ) = a b C o v ( X , Y ) Cov(aX, bY) = abCov(X,Y) Cov(aX,bY)=abCov(X,Y)
3.  若 X , Y X, Y X,Y 独立，则  C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0。注意：反过来是不成立的！！！！
4.   C o v ( C , X ) = 0 Cov(C, X)=0 Cov(C,X)=0，即X 和一个常数的协方差等于0
5.   C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X\_1+X\_2, Y) = Cov(X\_1, Y) + Cov(X\_2, Y) Cov(X1\+X2,Y)=Cov(X1,Y)\+Cov(X2,Y)

在本次  B l o g Blog Blog 的最后，我们在讨论一个问题：

我们知道：协方差  C o v ( X , Y ) Cov(X, Y) Cov(X,Y) 反应的是两个变量之间的关系。但是 C o v ( X , Y ) Cov(X,Y) Cov(X,Y) 却会收到计量单位的影响：比如说我们像衡量父子间身高的关系，如果我们用“米”做单位，父亲身高1.7m，儿子 1.8m，那么二者相差只有 0.1，但是如果用 cm 做单位，那么相差就是10了。

这时，为了避免单位带来的影响，我们引入了 “标准化” ：令： X ∗ = X − E X D X Y ∗ = Y − E Y D Y X^\* = \\frac\{X-EX\}\{\\sqrt\{DX\}\}\\\\ \\space\\\\ Y^\* = \\frac\{Y-EY\}\{\\sqrt\{DY\}\} X∗=DXX−EXY∗=DYY−EY  
最终， C o v ( X ∗ , Y ∗ ) Cov(X^\*, Y^\*) Cov(X∗,Y∗) 就是一个不受单位影响的了，我们带入公式计算一下： C o v ( X ∗ , Y ∗ ) = E ( X ∗ Y ∗ ) − E X ∗ E Y ∗ = E ( X − E X D X ⋅ Y − E Y D Y ) − E ( X − E X D X ) E ( Y − E Y D Y ) \\begin\{aligned\} Cov(X^\*, Y^\*) &= E(X^\*Y^\*) - EX^\*EY^\*\\\\ &=E(\\frac\{X-EX\}\{\\sqrt\{DX\}\}\\sdot\\frac\{Y-EY\}\{\\sqrt\{DY\}\}) - E(\\frac\{X-EX\}\{\\sqrt\{DX\}\})E(\\frac\{Y-EY\}\{\\sqrt\{DY\}\})\\\\ \\end\{aligned\} Cov(X∗,Y∗)=E(X∗Y∗)−EX∗EY∗=E(DXX−EX⋅DYY−EY)−E(DXX−EX)E(DYY−EY)  
我们先分析后面的： E ( X − E X D X ) = 1 D X E ( X − E X ) = 1 D X ( E X − E X ) = 0 E(\\frac\{X-EX\}\{\\sqrt\{DX\}\}) = \\frac\{1\}\{\\sqrt\{DX\}\}E(X-EX) = \\frac\{1\}\{\\sqrt\{DX\}\}(EX-EX) = 0 E(DXX−EX)=DX1E(X−EX)=DX1(EX−EX)=0  
同理， E ( Y − E Y D Y ) E(\\frac\{Y-EY\}\{\\sqrt\{DY\}\}) E(DYY−EY) 也是等于0.因此，有： C o v ( X ∗ , Y ∗ ) = E ( X − E X D X ⋅ Y − E Y D Y ) = C o v ( X , Y ) D X D Y Cov(X^\*, Y^\*) = E(\\frac\{X-EX\}\{\\sqrt\{DX\}\}\\sdot\\frac\{Y-EY\}\{\\sqrt\{DY\}\}) = \\frac\{Cov(X, Y)\}\{\\sqrt\{DX\}\\sqrt\{DY\}\} Cov(X∗,Y∗)=E(DXX−EX⋅DYY−EY)=DXDYCov(X,Y)  
我们定义  C o v ( X ∗ , Y ∗ ) Cov(X^\*, Y^\*) Cov(X∗,Y∗) 为相关系数，这将在下一篇博客里面学习！