概要
正規分布の最尤推定量のバイアスについて考察し、Python で検証します。
定義 – 不偏推定量
Θ をパラメータ空間としたとき、任意の θ∈Θ に対して、
Eθ[T(X)]=θとなる推定量 T(X) を不偏推定量 (unbiased estimator) といいます。つまり、不偏推定量の期待値は、パラメータの値に等しいことを意味します。
正規分布の最尤推定におけるバイアス
X=(X1,X2,⋯,XN) を母集団分布が平均 μ、分散 σ2 に従う正規分布のランダム標本とし、平均及び分散の最尤推定量をそれぞれ θ^(X)=N1∑i=1NXi,σ^2(X)=N1∑i=1N(Xi–θ^(X))2 とします。
平均の最尤推定量の期待値は、
E[μ^(X)]=E[N1i=1∑NXi]=N1i=1∑NE[Xi]=N1NE[Xi]=μよって、平均の最尤推定量 θ^(X) の期待値は、真のパラメータ μ に一致するので、不偏推定量であることがわかります。
分散の最尤推定量の期待値は、
E[σ^2(X)]=E[N1i=1∑N(Xi–μ^(X))2]=N1E[i=1∑NXi2–2i=1∑NXiμ^(X)+i=1∑Nμ^(X)2]=N1E[i=1∑NXi2–2Nμ^(X)2+Nμ^(X)2]=N1i=1∑NE[Xi2]–E[μ^(X)2]=E[X2]–E[μ^(X)2]V[X]=E[X2]–(E[X])2 より、
E[X2]–E[μ^(X)2]=V[X]+(E[X])2–V[μ^(X)]–(E[μ^(X)])2=σ2+μ2–V[μ^(X)]–μ2ここで、
V[μ^(X)]=V[N1i=1∑NXi]=N21i=1∑NV[Xi]=N1σ2したがって、
E[σ^2(X)]=σ2+μ2–N1σ2–μ2=NN–1σ2分散の最尤推定量 σ^2(X) の期待値は、真のパラメータ σ2 に一致しないので、不偏推定量でないことがわかります。
Maximum Likelihood Estimator for Variance is Biased: Proof
Python で確認する
母集団分布が μ=0,σ=2 の正規分布であるサイズ N=20 のランダム標本を使って、最尤推定を行い、以下の3つのグラフを描画します。
- μ=0,σ=2 の正規分布の確率密度関数 (緑)
- μ=E[μ^(X)],σ=E[σ^2(X)] の正規分布の確率密度関数 (赤)
- バイアスを補正した μ=E[μ^(X)],σ=N–1NE[σ^2(X)] の正規分布の確率密度関数 (青)
- 最尤推定量の期待値は M=1000 回の平均で計算します。
mu=-0.01, sigma=1.91, sigma (unbiased)=2.01
バイアスがあるため、標準偏差の最尤推定量の期待値は真の標準偏差とずれていますが、N−1N 倍にスケールすることで、バイアスを除けることが確認できました。
参考文献
コメント