【数理统计】学习笔记04：点估计的优良性及其评选标准

﹏ヽ暗。殇╰゛Y 2023-10-09 14:59 37阅读 0赞

[前文回顾：参数的点估计（矩估计和极大似然估计）][Link 1]

#### 文章目录 ####

*  四、点估计优良性的评选标准
 *   *  4.1 无偏性
     *  4.2 有效性
     *   *  4.2.1 比较有效性
         *  4.2.2 有效估计
     *  4.3 一致性（相合性）

承接前文内容

## 四、点估计优良性的评选标准 ##

### 4.1 无偏性 ###

*  **定义**：若  θ \\theta θ 的估计量  θ ^ = θ ^ ( X 1 , X 2 , ⋯   , X n ) \\hat\\theta=\\hat\\theta(X\_1, X\_2, \\cdots, X\_n) θ^=θ^(X1,X2,⋯,Xn)，满足  E ( θ ^ ) = θ E(\\hat\\theta)=\\theta E(θ^)=θ，则称  θ ^ \\hat\\theta θ^ 是  θ \\theta θ 的一个无偏估计量。
 *  **统计意义**：若  θ ^ \\hat\\theta θ^ 是  θ \\theta θ 的无偏估计量，则在大量重复试验下， θ ^ \\hat\\theta θ^ 给出的估计值没有系统误差。
    
     *  例如：A工厂产品合格率为  θ = p \\theta=p θ=p，和商家B之间有长期供货合同，每次产品合格率  θ ^ = n A / n \\hat\\theta=n\_A/n θ^=nA/n 高于或低于  θ = p \\theta=p θ=p。则无偏性能保证长期合作中合格率接近于  θ \\theta θ。

> **例1**：设总体  X X X 的一阶矩，二阶矩存在， E X = μ EX=\\mu EX=μ， D X = σ 2 DX=\\sigma^2 DX=σ2。  
> （1）证明样本均数  X ˉ \\bar X Xˉ 是  μ \\mu μ 的无偏估计量。  
> （2） S 2 S^2 S2 是  σ 2 \\sigma^2 σ2 的无偏估计量， B 2 B\_2 B2 是  σ 2 \\sigma^2 σ2 的有偏估计量。
> 
> --------------------
> 
> **证明**：  
> **（1）** 因为  X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 独立同分布， E X i = μ EX\_i=\\mu EXi=μ  
>  E ( X ˉ n ) = E ( 1 n ∑ i = 1 n X i ) = 1 n ∑ i = 1 n E ( X i ) = E X = μ E(\\bar X\_n)=E(\\frac 1n\\sum\_\{i=1\}^nX\_i) =\\frac 1n\\sum\_\{i=1\}^nE(X\_i)=EX=\\mu E(Xˉn)=E(n1i=1∑nXi)=n1i=1∑nE(Xi)=EX=μ  X ˉ n \\bar X\_n Xˉn 是  μ \\mu μ 的无偏估计量。
> 
> --------------------
> 
> **（2）** B 2 = 1 n ∑ i = 1 n ( X i − X ˉ n ) 2 = 1 n ∑ i = 1 n ( X i 2 − 2 X ˉ n X i + X ˉ n 2 ) = 1 n ∑ i = 1 n X i 2 − X ˉ n 2 n ∑ i = 1 n X i + X ˉ n 2 = 1 n ∑ i = 1 n X i 2 − X ˉ n 2 ( = A 2 − A 1 2 ) \\begin\{aligned\} B\_2&=\\frac 1n\\sum\_\{i=1\}^n(X\_i-\\bar X\_n)^2=\\frac 1n\\sum\_\{i=1\}^n(X\_i^2-2\\bar X\_nX\_i+\\bar X\_n^2) \\\\ &=\\frac 1n\\sum\_\{i=1\}^nX\_i^2-\\bar X\_n\\frac 2n\\sum\_\{i=1\}^nX\_i+\\bar X\_n^2 \\\\ &=\\frac 1n\\sum\_\{i=1\}^nX\_i^2-\\bar X\_n^2 \\\\ (&=A\_2-A\_1^2) \\end\{aligned\} B2(=n1i=1∑n(Xi−Xˉn)2=n1i=1∑n(Xi2−2XˉnXi\+Xˉn2)=n1i=1∑nXi2−Xˉnn2i=1∑nXi\+Xˉn2=n1i=1∑nXi2−Xˉn2=A2−A12)  E ( B 2 ) = E \{ 1 n ∑ i = 1 n ( X i − X ˉ n ) 2 \} = E \{ 1 n ∑ i = 1 n X i 2 − X ˉ n 2 \} = 1 n ∑ i = 1 n E ( X i 2 ) − E ( X ˉ n 2 ) = E ( X 2 ) − E ( X ˉ n 2 ) = \{ D X + ( E X ) 2 \} − \{ D X ˉ n + ( E X ˉ n ) 2 \} = σ 2 + μ 2 − ( σ 2 n + μ 2 ) = ( n − 1 ) σ 2 n \\begin\{aligned\} E(B\_2)&=E\\Bigg\\\{\\frac 1n \\sum\_\{i=1\}^n(X\_i-\\bar X\_n)^2 \\Bigg\\\} =E\\Bigg\\\{ \\frac 1n\\sum\_\{i=1\}^nX\_i^2-\\bar X\_n^2 \\Bigg\\\} \\\\ &=\\frac 1n \\sum\_\{i=1\}^nE(X\_i^2)-E(\\bar X\_n^2) \\\\ &=E(X^2)-E(\\bar X\_n^2) \\\\ &=\\\{ DX+(EX)^2 \\\}-\\\{ D\\bar X\_n+(E\\bar X\_n)^2 \\\} \\\\ &=\\sigma^2+\\mu^2-(\\frac \{\\sigma^2\}\{n\}+\\mu^2) \\\\ &=\\frac \{(n-1)\\sigma^2\}n \\end\{aligned\} E(B2)=E\{ n1i=1∑n(Xi−Xˉn)2\}=E\{ n1i=1∑nXi2−Xˉn2\}=n1i=1∑nE(Xi2)−E(Xˉn2)=E(X2)−E(Xˉn2)=\{ DX\+(EX)2\}−\{ DXˉn\+(EXˉn)2\}=σ2\+μ2−(nσ2\+μ2)=n(n−1)σ2  B 2 B\_2 B2 是  σ 2 \\sigma^2 σ2 的有偏估计量， E B 2 = ( n − 1 ) σ 2 n EB\_2=\\frac\{(n-1)\\sigma^2\}\{n\} EB2=n(n−1)σ2  
> 修正  B 2 B\_2 B2， E ( n n − 1 B 2 ) = σ 2 E(\\frac n\{n-1\}B\_2)=\\sigma^2 E(n−1nB2)=σ2，令  S 2 = n n − 1 B 2 S^2=\\frac n\{n-1\}B\_2 S2=n−1nB2，即  S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ˉ n ) 2 S^2=\\frac 1\{n-1\}\\sum\_\{i=1\}^n(X\_i-\\bar X\_n)^2 S2=n−11i=1∑n(Xi−Xˉn)2  E ( S 2 ) = E ( n n − 1 B 2 ) = σ 2 E(S^2)=E(\\frac n\{n-1\}B\_2)=\\sigma^2 E(S2)=E(n−1nB2)=σ2  S 2 S^2 S2 是  σ 2 \\sigma^2 σ2 的无偏估计量。

### 4.2 有效性 ###

#### 4.2.1 比较有效性 ####

*  **比较有效性**：设  θ ^ 1 ( X 1 , X 2 , ⋯   , X n ) \\hat\\theta\_1(X\_1, X\_2, \\cdots, X\_n) θ^1(X1,X2,⋯,Xn)， θ ^ 2 ( X 1 , X 2 , ⋯   , X n ) \\hat\\theta\_2(X\_1, X\_2, \\cdots, X\_n) θ^2(X1,X2,⋯,Xn) 是  θ \\theta θ 的两个无偏估计量。如果  D ( θ ^ 1 ) ≤ D ( θ ^ 2 ) D(\\hat\\theta\_1) \\leq D(\\hat\\theta\_2) D(θ^1)≤D(θ^2) 对一切  θ ∈ Θ \\theta\\in\\Theta θ∈Θ 都成立，则称  θ ^ 1 \\hat\\theta\_1 θ^1 比  θ ^ 2 \\hat\\theta\_2 θ^2 更有效。
 *  在期望相等的条件下，方差小者估计的效果更好。

> **例3**：设总体  X ∼ U ( 0 , θ ) X\\sim U(0, \\theta) X∼U(0,θ)  
> （1）求  θ \\theta θ 矩估计量和极大似然估计量；  
> （2）验证矩估计量和极大似然估计量的无偏性；  
> （3）比较有效性。
> 
> --------------------
> 
> **解**：**（1）**  
>  E X = θ / 2 EX=\\theta/2 EX=θ/2，令  X ˉ = E X = θ / 2 \\bar X=EX=\\theta/2 Xˉ=EX=θ/2  
> 解得  θ ^ 矩 = 2 X ˉ \\hat\\theta\_\{矩\}=2\\bar X θ^矩=2Xˉ  
>  L ( θ ) = ∏ i = 1 n 1 θ = 1 θ n , ( 1 θ n ) ′ ≠ 0 L(\\theta)=\\prod\_\{i=1\}^n\\frac 1\{\\theta\}=\\frac 1\{\\theta^n\}, \\qquad (\\frac 1\{\\theta^n\})'\\neq0 L(θ)=i=1∏nθ1=θn1,(θn1)′=0若使  L ( θ ) L(\\theta) L(θ) 极大，需  θ → 0 \\theta\\rightarrow0 θ→0，但  0 < x < θ 0<x<\\theta 0<x<θ，  
> 因此， θ ^ 极 大 = X ( n ) \\hat\\theta\_\{极大\}=X\_\{(n)\} θ^极大=X(n)
> 
> --------------------
> 
> **（2）无偏性** E ( θ ^ 矩 ) = E ( 2 X ˉ ) = 2 E X ˉ = 2 ( θ 2 ) = θ E(\\hat\\theta\_\{\\text\{矩\}\})=E(2\\bar X)=2E\\bar X=2(\\frac\{\\theta\}\{2\})=\\theta E(θ^矩)=E(2Xˉ)=2EXˉ=2(2θ)=θ  θ ^ 矩 \\hat\\theta\_\{\\text\{矩\}\} θ^矩 是  θ \\theta θ 的无偏估计量。  
> 令  Z = θ ^ 极大 = X ( n ) Z=\\hat\\theta\_\{\\text\{极大\}\}=X\_\{(n)\} Z=θ^极大=X(n)  E Z = ∫ − ∞ + ∞ z f z ( z ) d z EZ=\\int\_\{-\\infty\}^\{+\\infty\}zf\_z(z)dz EZ=∫−∞\+∞zfz(z)dz  f n ( z ) = n ! ( n − 1 ) ! 1 ! \{ F X ( z ) \} n − 1 f X ( z ) = n ( z θ ) n − 1 1 θ = n z n − 1 θ n \\begin\{aligned\} f\_n(z)&=\\frac\{n!\}\{(n-1)! 1!\}\\\{F\_X(z)\\\}^\{n-1\}f\_X(z) \\\\ &=n(\\frac z\{\\theta\})^\{n-1\}\\frac 1\{\\theta\}=\\frac\{nz^\{n-1\}\}\{\\theta^n\} \\end\{aligned\} fn(z)=(n−1)!1!n!\{ FX(z)\}n−1fX(z)=n(θz)n−1θ1=θnnzn−1  f Z ( z ) = \{ n z n − 1 θ n , 0 < z < θ 0 , 其它 f\_Z(z)=\\begin\{cases\} \\frac\{nz^\{n-1\}\}\{\\theta^n\}, \\qquad 0<z<\\theta \\\\ 0, \\qquad\\qquad \\text\{其它\} \\end\{cases\} fZ(z)=\{ θnnzn−1,0<z<θ0,其它  E θ ^ 极 大 = E Z = ∫ 0 θ z n z n − 1 θ n d z = n n + 1 θ E\\hat\\theta\_\{极大\}=EZ=\\int\_\{0\}^\{\\theta\}z\\frac\{nz^\{n-1\}\}\{\\theta^n\}dz=\\frac\{n\}\{n+1\}\\theta Eθ^极大=EZ=∫0θzθnnzn−1dz=n\+1nθ修正  T = n + 1 n θ ^ 极 大 T=\\frac\{n+1\}n\\hat\\theta\_\{极大\} T=nn\+1θ^极大，则  E T = θ ET=\\theta ET=θ  
> 因此，矩估计量是无偏估计，极大似然估计是有偏估计，修正后  T T T 为无偏估计。
> 
> --------------------
> 
> **（3）比较有效性**  
>  D ( θ ^ 矩 ) = D ( 2 X ˉ ) = 4 D X ˉ = 4 D X n = 4 n θ 2 12 = θ 2 3 n D(\\hat\\theta\_\{\\text\{矩\}\})=D(2\\bar X)=4D\\bar X=4\\frac\{DX\}\{n\}=\\frac 4n \\frac\{\\theta^2\}\{12\}=\\frac\{\\theta^2\}\{3n\} D(θ^矩)=D(2Xˉ)=4DXˉ=4nDX=n412θ2=3nθ2  E ( Z 2 ) = ∫ 0 θ z 2 n z n − 1 θ n d z = n n + 2 θ 2 E(Z^2)=\\int\_\{0\}^\{\\theta\}z^2n\\frac\{z^\{n-1\}\}\{\\theta^n\}dz=\\frac\{n\}\{n+2\}\\theta^2 E(Z2)=∫0θz2nθnzn−1dz=n\+2nθ2  D θ ^ 极大 = D Z = E Z 2 − ( E Z ) 2 = n n + 2 θ 2 − ( n n + 2 θ ) 2 = n θ 2 ( n + 2 ) ( n + 1 ) 2 \\begin\{aligned\} D\\hat \\theta\_\{\\text\{极大\}\}&=DZ=EZ^2-(EZ)^2 \\\\ &=\\frac \{n\}\{n+2\}\\theta^2-(\\frac\{n\}\{n+2\}\\theta)^2=\\frac\{n\\theta^2\}\{(n+2)(n+1)^2\} \\end\{aligned\} Dθ^极大=DZ=EZ2−(EZ)2=n\+2nθ2−(n\+2nθ)2=(n\+2)(n\+1)2nθ2  D T = D ( n + 1 n θ ^ 极大 ) = ( n + 1 ) 2 n 2 D ( θ ^ 极大 ) = ( n + 1 ) 2 n 2 n θ 2 ( n + 2 ) ( n + 1 ) 2 = θ 2 n ( n + 2 ) \\begin\{aligned\} DT &= D(\\frac\{n+1\}\{n\}\\hat\\theta\_\{\\text\{极大\}\})=\\frac\{(n+1)^2\}\{n^2\}D(\\hat\\theta\_\{\\text\{极大\}\})\\\\&=\\frac\{(n+1)^2\}\{n^2\}\\frac\{n\\theta^2\}\{(n+2)(n+1)^2\}=\\frac\{\\theta^2\}\{n(n+2)\} \\end\{aligned\} DT=D(nn\+1θ^极大)=n2(n\+1)2D(θ^极大)=n2(n\+1)2(n\+2)(n\+1)2nθ2=n(n\+2)θ2

#### 4.2.2 有效估计 ####

无偏估计的方差越小越有效，那么方差是否存在一个大于0的下界呢？

*  **费希尔信息量**： I ( θ ) = E \[ ∂ ∂ θ ln ⁡ p ( X ; θ ) \] 2 = − E \[ ∂ 2 ln ⁡ p ( X ; θ ) ∂ θ 2 \] I(\\theta)=E\[\\frac\{\\partial\}\{\\partial\\theta\}\\ln p(X; \\theta)\]^2=-E\[\\frac\{\\partial^2\\ln p(X;\\theta)\}\{\\partial \\theta^2\}\] I(θ)=E\[∂θ∂lnp(X;θ)\]2=−E\[∂θ2∂2lnp(X;θ)\]
 *  **C-R不等式**：设总体  X X X，满足费希尔信息量的条件， X 1 , X 2 , ⋯   , X n X\_1, X\_2,\\cdots,X\_n X1,X2,⋯,Xn 是来自该总体的样本， T = T ( X 1 , X 2 , ⋯   , X n ) T=T(X\_1, X\_2, \\cdots, X\_n) T=T(X1,X2,⋯,Xn) 是  g ( θ ) g(\\theta) g(θ) 的一个任意一个无偏估计， g ′ ( θ ) = ∂ g ( θ ) ∂ θ g'(\\theta)=\\frac\{\\partial g(\\theta)\}\{\\partial \\theta\} g′(θ)=∂θ∂g(θ) 存在，则有： V a r ( T ) ≥ \[ g ′ ( θ ) \] 2 n I ( θ ) Var(T)\\geq\\frac\{\[g'(\\theta)\]^2\}\{nI(\\theta)\} Var(T)≥nI(θ)\[g′(θ)\]2当等号成立时，称  T = T ( X 1 , X 2 , ⋯   , X n ) T=T(X\_1, X\_2, \\cdots, X\_n) T=T(X1,X2,⋯,Xn) 是  g ( θ ) g(\\theta) g(θ) 的**有效估计**。特别的，对  θ \\theta θ 的任意一个**无偏估计**  θ ^ \\hat\\theta θ^，有： V a r ( θ ^ ) ≥ 1 n I ( θ ) Var(\\hat\\theta)\\geq\\frac 1\{nI(\\theta)\} Var(θ^)≥nI(θ)1
 *  **无偏估计的有效估计**：若  θ \\theta θ 的一个无偏估计  θ ^ \\hat\\theta θ^ 达到方差下界，即使 C-R 不等式中等式  V a r ( θ ^ ) = 1 n I ( θ ) Var(\\hat\\theta)=\\frac 1\{nI(\\theta)\} Var(θ^)=nI(θ)1成立，则称  θ ^ \\hat\\theta θ^ 为  θ \\theta θ 的有效估计。
 *  **有效率**：若  θ ^ \\hat\\theta θ^ 为  θ \\theta θ 的一个无偏估计，且 C-R 不等式下界存在，则有效率为： e = 1 n I ( θ ) V a r ( θ ^ ) e=\\frac\{\\frac 1\{nI(\\theta)\}\}\{Var(\\hat\\theta)\} e=Var(θ^)nI(θ)1

> **例5**：设总体  X X X 服从两点分布，分布列为  p ( x , θ ) = θ x ( 1 − θ ) x ( x = 0 , 1 ) p(x,\\theta)=\\theta^x(1-\\theta)^x\\quad (x=0,1) p(x,θ)=θx(1−θ)x(x=0,1)  
> 试证明  X ˉ \\bar X Xˉ 是  θ \\theta θ 的有效估计量。
> 
> --------------------
> 
> **证明**：  
>  E ( θ ^ ) = E ( X ˉ ) = θ E(\\hat\\theta)=E(\\bar X)=\\theta E(θ^)=E(Xˉ)=θ，故  θ ^ \\hat\\theta θ^ 为  θ \\theta θ 的无偏估计量  
>  D ( θ ^ ) = D ( X ˉ ) = θ ( 1 − θ ) n D(\\hat\\theta)=D(\\bar X)=\\frac\{\\theta(1-\\theta)\}\{n\} D(θ^)=D(Xˉ)=nθ(1−θ)  ln ⁡ p ( x , θ ) = x ln ⁡ θ + ( 1 − x ) ln ⁡ ( 1 − θ ) \\ln p(x,\\theta)=x\\ln \\theta+(1-x)\\ln (1-\\theta) lnp(x,θ)=xlnθ\+(1−x)ln(1−θ)  ∂ ln ⁡ p ( x , θ ) ∂ θ = x θ − 1 − x 1 − θ ; ∂ 2 ln ⁡ p ( x , θ ) ∂ θ 2 = − x θ 2 − 1 − x ( 1 − θ ) 2 \\frac\{\\partial\\ln p(x,\\theta)\}\{\\partial\\theta\}=\\frac x\{\\theta\}-\\frac \{1-x\}\{1-\\theta\};\\qquad \\frac\{\\partial^2\\ln p(x,\\theta)\}\{\\partial\\theta^2\}=-\\frac x\{\\theta^2\}-\\frac\{1-x\}\{(1-\\theta)^2\} ∂θ∂lnp(x,θ)=θx−1−θ1−x;∂θ2∂2lnp(x,θ)=−θ2x−(1−θ)21−x  E \{ ∂ 2 ln ⁡ p ( x , θ ) ∂ θ 2 \} = E \{ − x θ 2 − 1 − x ( 1 − θ ) 2 \} = − 1 θ − 1 1 − θ = − 1 ( 1 − θ ) θ E\\bigg\\\{\\frac\{\\partial^2\\ln p(x,\\theta)\}\{\\partial\\theta^2\}\\bigg\\\}=E\\bigg\\\{-\\frac x\{\\theta^2\}-\\frac\{1-x\}\{(1-\\theta)^2\}\\bigg\\\}=-\\frac 1\{\\theta\}-\\frac 1\{1-\\theta\}=\\frac \{-1\}\{(1-\\theta)\\theta\} E\{ ∂θ2∂2lnp(x,θ)\}=E\{ −θ2x−(1−θ)21−x\}=−θ1−1−θ1=(1−θ)θ−1  I ( θ ) = 1 θ ( 1 − θ ) I(\\theta)=\\frac 1\{\\theta(1-\\theta)\} I(θ)=θ(1−θ)1C-R 下界为： θ ( 1 − θ ) n = D ( X ) \\frac\{\\theta(1-\\theta)\}\{n\}=D(X) nθ(1−θ)=D(X)  
> 故  X ˉ \\bar X Xˉ 是  θ \\theta θ 的有效估计量。

> **例6**：设总体  X ∼ B ( m , p ) X\\sim B(m,p) X∼B(m,p)，分布列为  p ( x , m , p ) = C m x p x ( 1 − p ) m − x ( x = 0 , 1 , ⋯   , m ) p(x,m,p)=C\_m^xp^x(1-p)^\{m-x\}\\quad(x=0,1,\\cdots,m) p(x,m,p)=Cmxpx(1−p)m−x(x=0,1,⋯,m)  
> 求  p p p 的矩估计量，并验证其是  p p p 的有效估计量。
> 
> --------------------
> 
> **解**： E X = m p EX=mp EX=mp，令  X ˉ = E ( X ) \\bar X=E(X) Xˉ=E(X)，得  p ^ 矩 = X ˉ / m \\hat p\_\{\\text\{矩\}\}=\\bar X/m p^矩=Xˉ/m  
>  E ( p ^ 矩 ) = E ( X ˉ m ) = m p m = p E(\\hat p\_\{\\text\{矩\}\})=E(\\frac\{\\bar X\}\{m\})=\\frac \{mp\}m=p E(p^矩)=E(mXˉ)=mmp=p故  p ^ 矩 \\hat p\_\{\\text\{矩\}\} p^矩 是  p p p 的无偏估计量  
>  D ( p ^ 矩 ) = D ( X ˉ m ) = p ( 1 − p ) n m D(\\hat p\_\{\\text\{矩\}\})=D(\\frac\{\\bar X\}m)=\\frac\{p(1-p)\}\{nm\} D(p^矩)=D(mXˉ)=nmp(1−p)  ln ⁡ p ( x , m , p ) = ln ⁡ C m x + x ln ⁡ p + ( m − x ) ln ⁡ ( 1 − p ) \\ln p(x,m,p)=\\ln C\_m^x+x\\ln p+(m-x)\\ln (1-p) lnp(x,m,p)=lnCmx\+xlnp\+(m−x)ln(1−p)  ∂ ln ⁡ p ( x , m , p ) ∂ p = x p − m − x ( 1 − p ) 2 ; ∂ 2 ln ⁡ p ( x , m , p ) ∂ p 2 = − x p 2 − m − x ( 1 − p ) 2 \\frac\{\\partial\\ln p(x,m,p)\}\{\\partial p\}=\\frac xp-\\frac\{m-x\}\{(1-p)^2\};\\qquad \\frac\{\\partial^2\\ln p(x,m,p)\}\{\\partial p^2\}=-\\frac x\{p^2\}-\\frac\{m-x\}\{(1-p)^2\} ∂p∂lnp(x,m,p)=px−(1−p)2m−x;∂p2∂2lnp(x,m,p)=−p2x−(1−p)2m−x  E \{ ∂ 2 ln ⁡ p ( x , m , p ) ∂ p 2 \} = E \{ − x p 2 − m − x ( 1 − p ) 2 \} = − m ( 1 − p ) p E\\bigg\\\{\\frac\{\\partial^2\\ln p(x,m,p)\}\{\\partial p^2\}\\bigg\\\}=E\\bigg\\\{-\\frac x\{p^2\}-\\frac\{m-x\}\{(1-p)^2\}\\bigg\\\}=-\\frac\{m\}\{(1-p)p\} E\{ ∂p2∂2lnp(x,m,p)\}=E\{ −p2x−(1−p)2m−x\}=−(1−p)pm  I ( p ) = m p ( 1 − p ) I(p)=\\frac\{m\}\{p(1-p)\} I(p)=p(1−p)mC-R下界为： p ( 1 − p ) m n = D ( p ^ 矩 ) \\frac\{p(1-p)\}\{mn\}=D(\\hat p\_\{\\text\{矩\}\}) mnp(1−p)=D(p^矩)，故  p ^ 矩 \\hat p\_\{\\text\{矩\}\} p^矩 是  p p p 的有效估计量

> **例11**：设总体为  f ( x ) = 1 2 θ 3 x 2 e − x / θ ( x > 0 ) f(x)=\\frac 1\{2\\theta^3\}x^2e^\{-x/\\theta\}\\quad(x>0) f(x)=2θ31x2e−x/θ(x>0)， X 1 , ⋯   , X n X\_1,\\cdots,X\_n X1,⋯,Xn 为样本， μ \\mu μ 已知。求  θ \\theta θ 参数的极大似然估计量，并判定是否是  θ \\theta θ 的有效估计量。
> 
> --------------------
> 
> **解**： L ( θ ) = ∏ i = 1 n 1 2 θ 3 x i 2 e − x i θ = 1 2 n θ 3 n e − 1 θ ∑ i = 1 n x i ∏ i = 1 n x i 2 L(\\theta)=\\prod\_\{i=1\}^n\\frac 1\{2\\theta^3\}x\_i^2e^\{-\\frac \{x\_i\}\{\\theta\}\}=\\frac 1\{2^n\\theta^\{3n\}\}e^\{-\\frac 1\{\\theta\}\\sum\_\{i=1\}^nx\_i\}\\prod\_\{i=1\}^nx\_i^2 L(θ)=i=1∏n2θ31xi2e−θxi=2nθ3n1e−θ1∑i=1nxii=1∏nxi2  ln ⁡ \{ L ( θ ) \} = ln ⁡ \{ 1 2 n ∏ i = 1 n x i 2 \} − 3 n ln ⁡ θ − 1 θ ∑ i = 1 n x i \\ln\\\{L(\\theta)\\\}=\\ln\\bigg\\\{\\frac 1\{2^n\}\\prod\_\{i=1\}^nx\_i^2\\bigg\\\}-3n\\ln\\theta-\\frac 1\{\\theta\}\\sum\_\{i=1\}^nx\_i ln\{ L(θ)\}=ln\{ 2n1i=1∏nxi2\}−3nlnθ−θ1i=1∑nxi令 d ln ⁡ \{ L ( θ ) \} d θ = − 3 n θ ^ + 1 θ ^ 2 ∑ i = 1 n x i = 0 \\frac\{d\\ln\\\{L(\\theta)\\\}\}\{d\\theta\}=-\\frac\{3n\}\{\\hat\\theta\}+\\frac 1\{\\hat\\theta^2\}\\sum\_\{i=1\}^nx\_i=0 dθdln\{ L(θ)\}=−θ^3n\+θ^21i=1∑nxi=0解得 θ ^ 极大 = ∑ i = 1 n x i 3 n = X ˉ 3 \\hat\\theta\_\{\\text\{极大\}\}=\\frac\{\\sum\_\{i=1\}^nx\_i\}\{3n\}=\\frac\{\\bar X\}\{3\} θ^极大=3n∑i=1nxi=3Xˉ  E X = ∫ 0 + ∞ x 1 2 θ 2 x 2 e − x θ d x θ = ∫ 0 + ∞ θ 2 t 3 e − t d t = θ 6 Γ ( 4 ) = θ 2 3 ! = 3 θ EX=\\int\_0^\{+\\infty\}x\\frac 1\{2\\theta^2\}x^2e^\{-\\frac x\{\\theta\}\}d\\frac \{x\}\{\\theta\} =\\int\_0^\{+\\infty\}\\frac\{\\theta\}\{2\}t^3e^\{-t\}dt=\\frac\{\\theta\}\{6\}\\Gamma(4)=\\frac\{\\theta\}\{2\}3!=3\\theta EX=∫0\+∞x2θ21x2e−θxdθx=∫0\+∞2θt3e−tdt=6θΓ(4)=2θ3!=3θ  E ( θ ^ ) = E ( X ˉ 3 ) = E ( X ˉ ) 3 = θ E(\\hat\\theta)=E(\\frac\{\\bar X\}\{3\})=\\frac\{E(\\bar X)\}\{3\}=\\theta E(θ^)=E(3Xˉ)=3E(Xˉ)=θ故  θ ^ 极大 \\hat\\theta\_\{\\text\{极大\}\} θ^极大 是  θ \\theta θ 的无偏估计量  
>  E ( X 2 ) = ∫ 0 + ∞ x 2 1 2 θ 2 x 2 e − x θ d x θ = ∫ 0 + ∞ θ 2 2 t 4 e − t d t = θ 2 2 Γ ( 5 ) = θ 2 2 4 ! = 12 θ 2 E(X^2)=\\int\_0^\{+\\infty\}x^2\\frac 1\{2\\theta^2\}x^2e^\{-\\frac x\{\\theta\}\}d\\frac\{x\}\{\\theta\} =\\int\_0^\{+\\infty\}\\frac\{\\theta^2\}\{2\}t^4e^\{-t\}dt=\\frac\{\\theta^2\}\{2\}\\Gamma(5)=\\frac\{\\theta^2\}\{2\}4!=12\\theta^2 E(X2)=∫0\+∞x22θ21x2e−θxdθx=∫0\+∞2θ2t4e−tdt=2θ2Γ(5)=2θ24!=12θ2  D ( θ ^ ) = D ( X ˉ 3 ) = D ( X ˉ ) 9 = D X 9 n = E ( X 2 ) − 9 θ 2 9 n = θ 2 3 n D(\\hat\\theta)=D(\\frac\{\\bar X\}3)=\\frac\{D(\\bar X)\}\{9\}=\\frac \{DX\}\{9n\}=\\frac\{E(X^2)-9\\theta^2\}\{9n\}=\\frac\{\\theta^2\}\{3n\} D(θ^)=D(3Xˉ)=9D(Xˉ)=9nDX=9nE(X2)−9θ2=3nθ2  p ( x , θ ) = f ( x ) = 1 2 θ 3 x 2 e − x θ ( x > 0 ) p(x,\\theta)=f(x)=\\frac 1\{2\\theta^3\}x^2e^\{-\\frac x\{\\theta\}\}\\qquad(x>0) p(x,θ)=f(x)=2θ31x2e−θx(x>0)  ln ⁡ p ( x , θ ) = ln ⁡ 1 2 − 3 ln ⁡ θ + 2 ln ⁡ x − x θ \\ln p(x,\\theta)=\\ln\\frac12-3\\ln\\theta+2\\ln x-\\frac x\{\\theta\} lnp(x,θ)=ln21−3lnθ\+2lnx−θx  ∂ ln ⁡ p ( x , θ ) ∂ θ = − 3 θ + x θ 2 ; ∂ 2 ln ⁡ p ( x , θ ) ∂ θ 2 = 3 θ 2 − 2 x θ 3 \\frac\{\\partial \\ln p(x,\\theta)\}\{\\partial\\theta\}=-\\frac 3\{\\theta\}+\\frac x\{\\theta^2\};\\qquad \\frac\{\\partial^2\\ln p(x,\\theta)\}\{\\partial\\theta^2\}=\\frac 3\{\\theta^2\}-\\frac\{2x\}\{\\theta^3\} ∂θ∂lnp(x,θ)=−θ3\+θ2x;∂θ2∂2lnp(x,θ)=θ23−θ32x  E \{ ∂ 2 ln ⁡ p ( x , θ ) ∂ θ 2 \} = E \{ 3 θ 2 − 2 x θ 3 \} = 3 θ 2 − 2 E X θ 3 = − 3 θ 2 E\\bigg\\\{\\frac\{\\partial^2\\ln p(x,\\theta)\}\{\\partial\\theta^2\}\\bigg\\\}=E\\bigg\\\{\\frac 3\{\\theta^2\}-\\frac\{2x\}\{\\theta^3\}\\bigg\\\}=\\frac 3\{\\theta^2\}-\\frac\{2EX\}\{\\theta^3\}=-\\frac 3\{\\theta^2\} E\{ ∂θ2∂2lnp(x,θ)\}=E\{ θ23−θ32x\}=θ23−θ32EX=−θ23  I ( θ ) = 3 θ 2 I(\\theta)=\\frac\{3\}\{\\theta^2\} I(θ)=θ23C-R下界： 1 n I ( θ ) = θ 2 3 n = D ( θ ^ ) \\frac 1\{nI(\\theta)\}=\\frac\{\\theta^2\}\{3n\}=D(\\hat\\theta) nI(θ)1=3nθ2=D(θ^)，故  θ ^ 极大 \\hat\\theta\_\{\\text\{极大\}\} θ^极大 是  θ \\theta θ 的有效估计量

### 4.3 一致性（相合性） ###

设  θ ^ ( X 1 , X 2 , ⋯   , X n ) \\hat\\theta(X\_1,X\_2,\\cdots,X\_n) θ^(X1,X2,⋯,Xn) 是  θ \\theta θ 的估计量，若对任意的  θ ∈ Θ \\theta\\in\\Theta θ∈Θ，当  n → ∞ n\\rightarrow\\infty n→∞ 时， θ ^ n ⟶ p θ \\hat\\theta\_n\\overset\{p\}\{\\longrightarrow\}\\theta θ^n⟶pθ。即对任意的  ϵ > 0 \\epsilon>0 ϵ>0，有  lim ⁡ n → ∞ P ( ∣ θ ^ n − θ ∣ ≥ ϵ ) = 0 \\underset\{n\\rightarrow\\infty\}\{\\lim\}P(|\\hat\\theta\_n-\\theta|\\geq\\epsilon)=0 n→∞limP(∣θ^n−θ∣≥ϵ)=0 成立。则称  θ ^ \\hat\\theta θ^ 为  θ \\theta θ 的相合估计量或者一致估计量。  
矩估计都是一致估计，极大似然估计验证一致性较复杂。

[Link 1]: https://blog.csdn.net/weixin_45800258/article/details/127254458?spm=1001.2014.3001.5501