概率论基础 —— 10. 切比雪夫不等式、大数定理、中心极限定理

男娘i 2022-08-31 15:22 507阅读 0赞

> 尽管统计学本身是门科学，我们也在纯数学的角度上研究了很多概率的性质。但是也不能否认统计学中依然有相当多经验总结。而且相当多的经验是行之有效的。在《概率论与数理统计》这本教材中，也列举了一些经验性的东西，因此我们也需要来学习一下。

### 文章目录 ###

*  切比雪夫不等式 (Chebyshev's Inequality)
 *  大数定理（Law of Large Numbers）
 *  中心极限定理
 *  二项分布中心极限定理
 *  做点题吧！

# 切比雪夫不等式 (Chebyshev’s Inequality) #

我们来看一看切比雪夫不等式，有两个：

P \{ ∣ X − E ( X ) ∣ ≤ ε \} ≥ 1 − D ( X ) ε 2 P \\\{ |X - E(X)| \\leq \\varepsilon \\\} \\geq 1 - \\frac\{D(X)\}\{\\varepsilon ^ 2\} P\{ ∣X−E(X)∣≤ε\}≥1−ε2D(X)

P \{ ∣ X − E ( X ) ∣ > ε \} ≤ D ( X ) ε 2 P \\\{ |X - E(X)| > \\varepsilon \\\} \\leq \\frac\{D(X)\}\{\\varepsilon ^ 2\} P\{ ∣X−E(X)∣>ε\}≤ε2D(X)

那么，它们表达什么含义呢？

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center]  
对于随机事件，如果它服从一定的分布，就会发现随机事件会以极大的概率落入一个或者两个标准差之内。换言之，对于概率事件，如果取一个范围  \[ − ε , + ε \] \[- \\varepsilon, + \\varepsilon\] \[−ε,\+ε\]，那么落入这个范围以内的概率为  1 − D ( X ) ε 2 1 - \\frac\{D(X)\}\{\\varepsilon ^ 2\} 1−ε2D(X)，超过这个范围的概率是  D ( X ) ε 2 \\frac\{D(X)\}\{\\varepsilon ^ 2\} ε2D(X)。

# 大数定理（Law of Large Numbers） #

从切比雪夫不等式出发，我们发现之所以切比雪夫不等式成立，其中一个很重要的原因就是因为同分布独立的概率事件，其期望值总是固定且相等。同样的，我们发现当对随机事件大量实验后，会发现随机事件A随着实验次数增大时总会呈现出某种稳定性，即朝着某个常数（通常即期望）收敛，而这就是所谓的大数定理。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 1]

上图清楚的表明，随着样本的增加，噪音逐渐减少，其样本值逐渐收敛到期望值。所以，从经验和大量的实验结果统计表明：

X n ‾ = 1 n ( X 1 + ⋯ + X n ) \\overline\{X\_n\} = \\frac\{1\}\{n\}(X\_1 + \\cdots + X\_n) Xn=n1(X1\+⋯\+Xn)

当  n → ∞ n \\rightarrow \\infty n→∞ 时， X n ‾ → μ \\overline\{X\_n\} \\rightarrow \\mu Xn→μ。要满足这个结果的限制条件，就有如下几条：

*   X i X\_i Xi 彼此是独立、同分布的
 *   E ( X i ) ≈ μ E(X\_i) \\approx \\mu E(Xi)≈μ

那么关于如何描述大数定理，目前数学界主要给出了三种

**弱大数定理（辛钦大数定理）**

> 对于独立、同分布的随机序列  X 1 X\_1 X1， X 2 X\_2 X2  ⋯ \\cdots ⋯  X n X\_n Xn，只要总体均值  μ \\mu μ 存在，那么样本均值  X ‾ = 1 n ∑ X i \\overline\{X\} = \\frac\{1\}\{n\}\\sum X\_i X=n1∑Xi 会随着n增大而收敛到总体均值  μ \\mu μ。

**强大数定理**

> 对于独立、同分布的随机序列  X 1 X\_1 X1， X 2 X\_2 X2  ⋯ \\cdots ⋯  X n X\_n Xn，只要总体均值  μ \\mu μ 存在，那么样本均值  X ‾ = 1 n ∑ X i \\overline\{X\} = \\frac\{1\}\{n\}\\sum X\_i X=n1∑Xi 会随着n增大而处处收敛到  μ \\mu μ。

**切比雪夫大数定理**

> 连续随机变量 X i X\_i Xi两两独立，且存在期望 E ( X ) = μ E(X) = \\mu E(X)=μ，方差存在且有共同有界上限  D ( X ) = σ 2 < M D(X) = \\sigma^2 < M D(X)=σ2<M，则存在 ε > 0 \\varepsilon > 0 ε>0，令  l i m n → ∞ P \{ ∣ 1 n ∑ ( X i − μ i ) ∣ < ε \} = 1 lim\_\{n \\rightarrow \\infty\} P \\\{ |\\frac\{1\}\{n\} \\sum (X\_i - \\mu\_i) | < \\varepsilon \\\} = 1 limn→∞P\{ ∣n1∑(Xi−μi)∣<ε\}=1。

说这么多，实际上记住三点就行了，首先

*  事件两两独立 → \\rightarrow →确保前后之间没有因果关系
 *  相同的分布  → \\rightarrow → 确保有共同的期望
 *  方差有界 → \\rightarrow → 确保数列一定会收敛

# 中心极限定理 #

想象一下，我们把随机序列一巴掌拍扁，把事件绘制在图表上会有什么效果。没错，基本上随机事件会呈现比较明显的正态分布的特点。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 2]

所以，对于独立、同分布的随机序列

X 1 + X 2 + X 3 + ⋯ + X n = ∑ i = 1 n X i X\_1 + X\_2 + X\_3 + \\cdots + X\_n = \\sum\_\{i=1\}^n X\_i X1\+X2\+X3\+⋯\+Xn=i=1∑nXi

其标准化变量：

Y = ∑ X i − E ( ∑ X i ) D ( ∑ X i ) = ∑ X i − n μ n σ Y = \\frac\{\\sum X\_i - E(\\sum X\_i)\}\{\\sqrt\{D(\\sum X\_i)\}\} = \\frac\{\\sum X\_i - n\\mu\}\{\\sqrt\{n\} \\sigma\} Y=D(∑Xi)∑Xi−E(∑Xi)=nσ∑Xi−nμ

如果他们有相同的数学期望  E ( X i ) = μ E(X\_i) = \\mu E(Xi)=μ，方差有界，且 σ 2 > 0 \\sigma^2 > 0 σ2>0。那么这样的数列近似服从正态分布：

∑ i = 1 n X i − n μ n σ ∼ N ( n μ , n σ 2 ) \\frac\{ \\sum\_\{i=1\}^n X\_i - n\\mu\}\{\\sqrt\{n\} \\sigma\} \\sim N(n \\mu, n \\sigma^2) nσ∑i=1nXi−nμ∼N(nμ,nσ2)

如果对上式子上下同时  1 n \\frac\{1\}\{n\} n1，就可以令

1 n ∑ i = 1 n X i − μ σ / n ∼ N ( μ , σ 2 ) \\frac\{ \\frac\{1\}\{n\}\\sum\_\{i=1\}^n X\_i - \\mu\}\{\\sigma / \\sqrt\{n\}\} \\sim N( \\mu, \\sigma^2) σ/nn1∑i=1nXi−μ∼N(μ,σ2)

即：

lim ⁡ n → ∞ P \{ ∑ i = 1 n X i − n μ n σ ≤ x \} ≈ Φ ( x ) ∼ N ( μ , σ 2 ) \\lim\_\{n \\rightarrow \\infty\} P\\\{ \\frac\{ \\sum\_\{i=1\}^n X\_i - n\\mu\}\{\\sqrt\{n\} \\sigma\} \\leq x \\\} \\approx \\Phi(x) \\sim N( \\mu, \\sigma^2) n→∞limP\{ nσ∑i=1nXi−nμ≤x\}≈Φ(x)∼N(μ,σ2)

使得上式近似的变成一个标准正态分布。**即，当n充分大的时候，我们可以用标准正态分布给出其近似分布**。

另外，针对中心极限定理，一般通常情况下会问一个范围内是多少概率的问题，所以通常会把这类问题转换为标准正态分布来求解 N～ ( μ = 0 (\\mu = 0 (μ=0,  σ = 1 ) \\sigma = 1) σ=1)，正态分布的数学符号通常表示为  Φ \\Phi Φ。

所以有：

P \{ a < ∑ i = 1 n X i < b \} ≈ Φ ( b − n μ n σ ) − Φ ( a − n μ n σ ) P\\\{ a <\\sum\_\{i=1\}^n X\_i < b \\\} \\approx \\Phi(\\frac\{b - n\\mu\}\{\\sqrt\{n\} \\sigma\}) - \\Phi(\\frac\{a - n\\mu\}\{\\sqrt\{n\} \\sigma\}) P\{ a<i=1∑nXi<b\}≈Φ(nσb−nμ)−Φ(nσa−nμ)

> 这里要强调的是，计算结果只能近似，而不是相等。因为以前的人没有计算机，无法准确的得出实验结果。所以当结果呈现正态分布的时候，就会习惯性的把它跟标准正态分布进行比对，计算出的结果是个接近的值。但如果你用计算机严格的做实验进行模拟的话，还是会发现最终结果跟笔算的结果差异还是挺大的。
> 
> 从另外一方面来说，对于概率问题，通常我们更关心事件是大概率事件还是小概率事件，而不是关心概率事件的实际概率是多少。所以这也从另外一个角度，解释了为什么在数学中很多情况下（不止概率计算中），其实只需要计算一个估值就可以了。

# 二项分布中心极限定理 #

这也算是一个比较常见的中心极限，相关的知识点你参考着我上面写的就行了，解题过程和中心极限定理是差不多的。

> 若  X ∼ B ( n , p ) X \\sim B(n, p) X∼B(n,p) 近似于  N ( n p , n p ( 1 − p ) ) N(np, np(1-p)) N(np,np(1−p))  
>  P \{ a < X < b \} = Φ ( b − n p n p ( 1 − p ) ) − Φ ( a − n p n p ( 1 − p ) ) P\\\{ a < X < b \\\} = \\Phi(\\frac\{b - np\}\{\\sqrt\{np (1- p)\}\}) - \\Phi(\\frac\{a - np\}\{\\sqrt\{np (1- p)\}\}) P\{ a<X<b\}=Φ(np(1−p)b−np)−Φ(np(1−p)a−np)

# 做点题吧！ #

> 生产线上组装每件成品的时间 X 服从指数分布，其数学期望为 1/5 ，假设各件产品的组 装 时 间 互 不 影 响 ， 试 求 组 装 100 件 成 品 需 要 15 到 20 小 时 的 概 率 ，其中已知 Φ ( 2.5 ) = 0.9938 \\Phi(2.5) = 0.9938 Φ(2.5)=0.9938 ， Φ ( 1.25 ) = 0.8944 \\Phi(1.25)=0.8944 Φ(1.25)=0.8944。

**解：**，因为是指数分布，且已知期望 μ = 1 / 5 \\mu = 1/5 μ=1/5，则  σ = 1 / 5 \\sigma = 1/5 σ=1/5，且  n = 100 n=100 n=100。然后带入公式：

P \{ 15 ≤ Y ≤ 20 \} = Φ ( 20 − n μ n σ ) − Φ ( 15 − n μ n σ ) P\\\{ 15 \\leq Y \\leq 20 \\\} = \\Phi(\\frac\{20 - n \\mu\}\{\\sqrt\{n\} \\sigma\}) - \\Phi(\\frac\{15 - n \\mu\}\{\\sqrt\{n\} \\sigma\}) P\{ 15≤Y≤20\}=Φ(nσ20−nμ)−Φ(nσ15−nμ)

然后我们把上述值代入公式中

= Φ ( 20 − 100 ∗ 1 / 5 100 ∗ 1 / 5 ) − Φ ( 15 − 100 ∗ 1 / 5 100 ∗ 1 / 5 ) = Φ ( 0 ) − Φ ( − 2.5 ) =\\Phi(\\frac\{20 - 100 \* 1/5\}\{\\sqrt\{100\} \* 1/5\}) - \\Phi(\\frac\{15 - 100 \* 1/5\}\{\\sqrt\{100\} \* 1/5\}) = \\Phi(0) - \\Phi(-2.5) =Φ(100∗1/520−100∗1/5)−Φ(100∗1/515−100∗1/5)=Φ(0)−Φ(−2.5)

因为正态分布关于X = 0 对称分布，所以有：

= Φ ( 0 ) − \[ 1 − Φ ( 2.5 ) \] = Φ ( 0 ) + Φ ( 2.5 ) = 0.5 + 0.9938 − 1 = 0.4938 =\\Phi(0) - \[1 - \\Phi(2.5)\] = \\Phi(0) + \\Phi(2.5) = 0.5 + 0.9938 -1 = 0.4938 =Φ(0)−\[1−Φ(2.5)\]=Φ(0)\+Φ(2.5)=0.5\+0.9938−1=0.4938

如果是用笔头计算正则分布的分布函数，通常是比较难求解的。一般来说题目会给出可能用到的 Φ ( Y ) \\Phi(Y) Φ(Y)值，不过如果是平时自己在做作业、或者工程中，可以用到[《正则分布表》][Link 1]查表计算，有需要的话你可以去下载。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/e384133f514a4672b156138a1e472d36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/622d213f3d7e4149b4d2d4ad80cd14f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220829/017672257ee8431eb9e249923304fec3.png
[Link 1]: https://download.csdn.net/download/poisonchry/20599009