不偏推定量と一致推定量の意味

上の表の意味を理解するのがこのページの目標です。

不偏推定量とは

不偏推定量とは、大雑把には、平均的には、真の値を正しく予測できるような推定量です。

数式で表現すると（推定量を $\hat{\theta}$、真の値を $\theta$ として）
$E[\hat{\theta}]=\theta$
が成立するとき、$\hat{\theta}$ を $\theta$ の一致推定量と言います。

$\hat{\theta}$ は確率変数なので、$\theta$ より大きくなることもあれば、小さくなることもあります。しかし、不偏推定量ならば、平均的には真の値 $\theta$ と一致してくれます。

具体例は後で説明します。

一致推定量とは

一致推定量とは、大雑把には、サンプル数をどんどん増やしていくと、ほぼ確実に、真の値を正しく予測できるような推定量です。

厳密に数式で表現すると（サンプル数 $n$ の場合の推定量を $\hat{\theta}_n$、真の値を $\theta$ として）
任意の $\varepsilon >0$ に対して
$\displaystyle\lim_{n\to\infty}P(|\hat{\theta}_n-\theta|<\varepsilon)=1$
が成立するとき、$\hat{\theta}_n$ を $\theta$ の一致推定量と言います。

不偏推定量と違って、定義はやや複雑です。確率収束という用語を使えば「$\hat{\theta}_n$ が $\theta$ に確率収束する」と述べることもできます。

不偏推定量と一致推定量の例

・各サンプル $X_1,X_2,\cdots$ は独立に「同一の分布」に従うとします。
・「同一の分布」の平均を $\mu$、分散を $\sigma^2$ とします。
・サンプルから $\mu$ と $\sigma^2$ を推定する状況を考えます。

標本平均：
$\overline{X}_n=\dfrac{X_1+\cdots +X_n}{n}$
は（任意の $n$ で）$\mu$ の不偏推定量になっています。
つまり、$E[\overline{X}_n]=\mu$ が成立します。

また、標本平均は $\mu$ の一致推定量でもあります。
つまり、任意の $\varepsilon >0$ に対して
$\displaystyle\lim_{n\to\infty}P(|\overline{X}_n-\mu|<\varepsilon)=1$
が成立します。

不偏標本分散：
$s^2_n=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X}_n)^2$
は（任意の $n$ で）$\sigma^2$ の不偏推定量になっています。
つまり、$E[s^2_n]=\sigma^2$ が成立します。

また、不偏標本分散は $\sigma^2$ の一致推定量でもあります。
つまり、任意の $\varepsilon >0$ に対して
$\displaystyle\lim_{n\to\infty}P(|s^2_n-\sigma^2|<\varepsilon)=1$
が成立します。

標本分散：
$S^2_n=\dfrac{1}{n}\displaystyle\sum_{i=1}^n(X_i-\overline{X}_n)^2$
は $\sigma^2$ の不偏推定量にはなっていません。
つまり、$E[S^2_n]\neq\sigma^2$ です。

一方、標本分散は $\sigma^2$ の一致推定量です。
つまり、任意の $\varepsilon >0$ に対して
$\displaystyle\lim_{n\to\infty}P(|S^2_n-\sigma^2|<\varepsilon)=1$
が成立します。

※不偏性の証明は、ただ期待値を計算するだけですが、一致性の証明は確率収束を示す必要があるので大変です。チェビシェフの不等式を使うことが多いようです：
参考文献：標本分散、不偏分散が一致推定量であること

次回は 有効推定量の定義と例 を解説します。