Unbiased Estimation 无偏估计

何谓无偏估计

就是用某个公式对采样后的样本进行统计,比如求样本的方差,这个方差会随着样本的不同而有浮动,或者说通过样本得到的方差是个随机变量,多次采样后可以对样本的方差求期望,如果方差的期望中没有变量则说明计算样本方差的公式是合理的,换句话说:用这种公式进行估计没有系统上的偏差,产生误差是随机因素造成的(跟你每次采样的运气有关)

前提

下面的证明过程以离散型随机变量为例,用连续型也OK,没有影响
1.png

样本均值

样本均值计算公式

2.png
这样估计样本均值是合理的吗?通过计算样本均值的期望进行检验

样本均值无偏检验

3.png
因为x_j是随机的,所以导致样本均值是个随机变量
采用这个公式计算样本均值,样本均值的期望就是真实期望μ,所以无偏!

样本方差

样本方差计算公式

4.png

样本方差无偏检验

5.png
由此可以看出,通过上面的公式S² = 1/n(Σ(Xi-X拔)²)计算方差, 样本方差的期望和样本数量n有关,这样就是有偏估计了,需要调整公式,调整为:
6.png
此时,样本方差的期望为:
7.png
采用公式S² = 1/n(Σ(Xi-X拔)²)计算样本方差,样本方差的期望就是真实方差σ² ,所以无偏!

总结

  • 样本x_j是随机的,进而导致样本均值和样本方差是随机变量,所以要对样本均值和样本方差求期望进行无偏检验
  • 样本均值计算公式: X拔 = 1/n(ΣXi)
  • 样本方差计算公式: S² = 1/(n-1)(Σ(Xi-X拔)²)
  • 真实均值:E[X] = μ ;真实方差Var[X]=E[(X-μ)²] = σ²
  • 样本均值的期望是μ,所以E[(X拔-μ)²] = Var(X拔)
  • 貌似在最大似然估计中,样本方差可以按照有偏的方法计算,因为样本非常多时,(n-1)σ²/n ≈ σ²
0%