正交-不相关-独立

╰+哭是因爲堅強的太久メ 2022-11-13 14:25 284阅读 0赞

> 本文介绍随机变量中正交、不相关、独立的区别和联系。

### 概述 ###

> 三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。

*  考察 m m m维随机变量 X , Y X,Y X,Y之间的关系。

### 定义 ###

#### 正交 ####

> 定义 R ( X , Y ) = E \[ X Y \] R(X, Y) = E\[XY\] R(X,Y)=E\[XY\]为相关函数：若 R ( X , Y ) = 0 R(X, Y)=0 R(X,Y)=0，称 X , Y X,Y X,Y正交

#### 不相关 ####

> 定义  E \[ X Y \] = E \[ X \] E \[ Y \] E\[XY\] = E\[X\]E\[Y\] E\[XY\]=E\[X\]E\[Y\]，则 X , Y X,Y X,Y不相关

*   X , Y X,Y X,Y的协方差：

C o v ( X , Y ) = E \[ X Y \] − E \[ X \] E \[ Y \] Cov(X,Y)=E\[XY\]- E\[X\]E\[Y\] Cov(X,Y)=E\[XY\]−E\[X\]E\[Y\]

> 不相关也可以用协方差为0表示

*   X , Y X,Y X,Y的相关系数：

r ( X , Y ) = Cov ⁡ ( X , Y ) Var ⁡ \[ X \] Var ⁡ \[ Y \] r(X, Y)=\\frac\{\\operatorname\{Cov\}(X, Y)\}\{\\sqrt\{\\operatorname\{Var\}\[X\] \\operatorname\{Var\}\[Y\]\}\} r(X,Y)=Var\[X\]Var\[Y\]Cov(X,Y)

> 不相关也可以用相关系数为0表示

#### 独立 ####

> 独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积，则称为独立：

p ( X , Y ) = p ( X ) p ( Y ) p(X,Y) = p(X)p(Y) p(X,Y)=p(X)p(Y)

### 关系 ###

#### 独立 -> 不相关 ####

> 独立是对变量更严苛的要求，如果两个随机变量独立，则必定不相关，也就是说独立是不相关的充分不必要条件。

*  若已知 X , Y X,Y X,Y联合概率密度 f ( x , y ) f(x, y) f(x,y)等于二者边缘密度函数 g ( x ) , h ( y ) g(x), h(y) g(x),h(y)的乘积，则有：

\{% raw %\}  
 E ( X , Y ) = ∬ x y f ( x , y ) d x d y = ∬ x y g ( x ) h ( y ) d x d y = ∫ x g ( x ) d x ∫ y h ( y ) d y = E ( X ) E ( Y ) E (X,Y)=\\iint x y f(x, y) d x d y=\\iint x y g(x) h(y) d x d y=\\int x g(x) d x \\int y h(y) d y=E (X) E(Y) E(X,Y)=∬xyf(x,y)dxdy=∬xyg(x)h(y)dxdy=∫xg(x)dx∫yh(y)dy=E(X)E(Y)

\{% endraw %\}

*  因此独立变量不相关，而相反不相关无法直接推导出独立

#### 不相关 --高斯分布–> 独立 ####

> 在随机变量服从高斯分布时，不相关可以推导出独立：

*  我们此时考虑稍复杂一些的情况， X X X为 n n n维随机变量：

X T = \[ x 1 , x 2 , . . . , x n \] X^T=\[x\_1,x\_2,...,x\_n\] XT=\[x1,x2,...,xn\]

*  随机变量之间两两不相关，并且服从高斯分布：

C o v ( x i , x j ) = 0 , i ≠ j Cov(x\_i,x\_j)=0,i \\ne j Cov(xi,xj)=0,i=j

x i ∼ N ( μ i , σ i 2 ) x\_i \\sim N\\left(\\mu\_i, \\sigma\_i^\{2\}\\right) xi∼N(μi,σi2)

*  那么此时 X X X的联合概率密度函数为：

f ( x 1 , x x … , x n ) = 1 ( 2 π ) n ∣ Σ ∣ 1 2 e − 1 2 ( X − μ ) T Σ − 1 ( X − μ ) f\\left( \{ \{x\_1\},\{x\_x\} \\ldots ,\{x\_n\}\} \\right) = \\frac\{1\}\{ \{\\sqrt \{ \{ \{\\left( \{2\\pi \} \\right)\}^n\}\} \{ \{\\left| \{\\bf\{\\Sigma \}\} \\right|\}^\{\\frac\{1\}\{2\}\}\}\}\}\{e^\{ - \\frac\{1\}\{2\}\{ \{(\{\\bf\{X\}\} - \{\\bf\{\\mu \}\})\}^T\}\{ \{\\bf\{\\Sigma \}\}^\{ - 1\}\}(\{\\bf\{X\}\} - \{\\bf\{\\mu \}\})\}\} f(x1,xx…,xn)=(2π)n∣Σ∣211e−21(X−μ)TΣ−1(X−μ)

*  其中 Σ \{\\bf\{\\Sigma \} \} Σ为协方差矩阵，因为随机变量之间两两不相关：

Σ = ( σ 1 2 σ 2 2 ⋱ σ n 2 ) \{\\bf\{\\Sigma \}\} = \\left( \{\\begin\{array\}\{c\} \{\\sigma \_1^2\}&\{\}&\{\}&\{\}\\\\ \{\}&\{\\sigma \_2^2\}&\{\}&\{\}\\\\ \{\}&\{\}& \\ddots &\{\}\\\\ \{\}&\{\}&\{\}&\{\\sigma \_n^2\} \\end\{array\}\} \\right) Σ=⎝⎜⎜⎛σ12σ22⋱σn2⎠⎟⎟⎞

*  其中$\\sigma\_i  为 为 为x\_i$的标准差，那么联合概率密度函数可以写为：

f ( x 1 , x x … , x n ) = 1 ( 2 π ) n ∏ i = 1 n σ i e − 1 2 ( X − μ ) T ( 1 σ 1 2 1 σ 2 2 ⋱ 1 σ n 2 ) ( X − μ ) = 1 ( 2 π ) n ∏ i = 1 n σ i e − 1 2 \[ x 1 − μ 1 σ 1 2 , x 2 − μ 2 σ 2 2 , . . . , x n − μ n σ n 2 \] ( X − μ ) = 1 ( 2 π ) n ∏ i = 1 n σ i e − 1 2 ∑ i = 1 n ( x n − μ n ) 2 σ n 2 = ∏ i = 1 n 1 2 π σ i e − 1 2 ( x i − μ i ) 2 σ i 2 = ∏ i = 1 n f ( x i ) \\begin\{aligned\} f\\left( \{ \{x\_1\},\{x\_x\} \\ldots ,\{x\_n\}\} \\right) &= \\frac\{1\}\{ \{\\sqrt \{ \{ \{\\left( \{2\\pi \} \\right)\}^n\}\} \\prod\\limits\_\{i = 1\}^n \{ \{\\sigma \_i\}\} \}\}\{e^\{ - \\frac\{1\}\{2\}\{ \{(\{\\bf\{X\}\} - \{\\bf\{\\mu \}\})\}^T\}\\left( \{\\begin\{array\}\{c\} \{\\frac\{1\}\{ \{\\sigma \_1^2\}\}\}&\{\}&\{\}&\{\}\\\\ \{\}&\{\\frac\{1\}\{ \{\\sigma \_2^2\}\}\}&\{\}&\{\}\\\\ \{\}&\{\}& \\ddots &\{\}\\\\ \{\}&\{\}&\{\}&\{\\frac\{1\}\{ \{\\sigma \_n^2\}\}\}\\\\ \\end\{array\}\} \\right)(\{\\bf\{X\}\} - \{\\bf\{\\mu \}\})\}\}\\\\ &= \\frac\{1\}\{ \{\\sqrt \{ \{ \{\\left( \{2\\pi \} \\right)\}^n\}\} \\prod\\limits\_\{i = 1\}^n \{ \{\\sigma \_i\}\} \}\}\{e^\{ - \\frac\{1\}\{2\}\[\\frac\{ \{ \{x\_1\} - \{\\mu \_1\}\}\}\{ \{\\sigma \_1^2\}\},\\frac\{ \{ \{x\_2\} - \{\\mu \_2\}\}\}\{ \{\\sigma \_2^2\}\},...,\\frac\{ \{ \{x\_n\} - \{\\mu \_n\}\}\}\{ \{\\sigma \_n^2\}\}\](\{\\bf\{X\}\} - \{\\bf\{\\mu \}\})\}\}\\\\ & = \\frac\{1\}\{ \{\\sqrt \{ \{ \{\\left( \{2\\pi \} \\right)\}^n\}\} \\prod\\limits\_\{i = 1\}^n \{ \{\\sigma \_i\}\} \}\}\{e^\{ - \\frac\{1\}\{2\}\\sum\\limits\_\{i = 1\}^n \{\\frac\{ \{ \{ \{(\{x\_n\} - \{\\mu \_n\})\}^2\}\}\}\{ \{\\sigma \_n^2\}\}\} \}\}\\\\ & = \\prod\\limits\_\{i = 1\}^n \{\\frac\{1\}\{ \{\\sqrt \{2\\pi \} \{\\sigma \_i\}\}\}\} \{e^\{ - \\frac\{1\}\{2\}\\frac\{ \{ \{ \{(\{x\_i\} - \{\\mu \_i\})\}^2\}\}\}\{ \{\\sigma \_i^2\}\}\}\} \\\\ & = \\prod\\limits\_\{i = 1\}^n \{f(\{x\_i\})\} \\end\{aligned\} f(x1,xx…,xn)=(2π)ni=1∏nσi1e−21(X−μ)T⎝⎜⎜⎜⎛σ121σ221⋱σn21⎠⎟⎟⎟⎞(X−μ)=(2π)ni=1∏nσi1e−21\[σ12x1−μ1,σ22x2−μ2,...,σn2xn−μn\](X−μ)=(2π)ni=1∏nσi1e−21i=1∑nσn2(xn−μn)2=i=1∏n2πσi1e−21σi2(xi−μi)2=i=1∏nf(xi)

*  因此在随机变量服从高斯分布时，不相关与独立等价，互为充要条件。

#### 正交 – 不相关 ####

*  根据定义可以得知： 当 E \[ X \] ， E \[ Y \] E\[X\]，E\[Y\] E\[X\]，E\[Y\]至少有一个为0时正交等价于不相关。

### 参考资料 ###

*  http://blog.sciencenet.cn/blog-812827-1096465.html
 *  https://blog.csdn.net/wjj5881005/article/details/53320403/
 *  https://www.zhihu.com/question/26583332/answer/33327497
 *  https://baike.baidu.com/item/%E4%B8%8D%E7%9B%B8%E5%85%B3%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F/19126995?fr=aladdin