有効推定量の定義と例

有効推定量とは

推定量 $\hat{\theta}$ が以下の２つを満たす時、有効推定量と言います。

１．不偏推定量である
不偏推定量とは、大雑把に言えば「平均的には、真の値を正しく予測できるような推定量」のことです。
推定量を $\hat{\theta}$、真の値を $\theta$ として、
$E[\hat{\theta}]=\theta$
が成立するようなものです。
→不偏推定量の意味

２．他のどの不偏推定量よりも分散が大きくない
「不偏性」は「平均的には正しく予測する」推定量です。平均的に正しくても、当たりハズレのブレが大きいものもあれば小さいものもあります。ブレは小さい方が嬉しいので、不偏推定量の中で分散が最小のものは、不偏推定量の中でもとりわけ嬉しい推定量なので、有効推定量という名前がついています。

なお、有効推定量は、最小分散不偏推定量とも呼ばれます。

クラメール・ラオの不等式

真の値が $\theta$ であるようなパラメータの、不偏推定量 $\hat{\theta}$ の分散 $V[\hat{\theta}]$ について、以下の不等式が成立します：

$V[\hat{\theta}]\geq\dfrac{1}{nE\left[\left(\dfrac{\partial}{\partial\theta}\log p(x\mid\theta)\right)^2\right]}$

これをクラメール・ラオの不等式と言います。

右辺は複雑なので、後述する具体例で説明します。理解していただきたいのは、どんな不偏推定量を持ってきても、その分散は、ある値より小さくすることはできないという残念な事実です。

逆に、もし、この不等式の等号を満たすような不偏推定量 $\hat{\theta}$ を持ってくることができれば、$\hat{\theta}$ の分散は，不偏推定量の分散の中では最小であることが分かり，$\hat{\theta}$ が有効推定量であることが言えます。

有効推定量の例

・各サンプル $X_1,X_2,\cdots$ は独立に、平均 $\mu$、分散 $\sigma^2$ の正規分布に従うとします。
・$\sigma^2$ は既知で、サンプルから $\mu$ を推定する状況を考えます。

このとき、標本平均
$\overline{X}=\dfrac{X_1+\cdots +X_n}{n}$
は $\mu$ の有効推定量になります。

これを確認してみます。まず、$\overline{X}$ が $\mu$ の不偏推定量であることは
$E[\overline{X}]=\mu$
を確認するだけです。簡単なので省略します。

次に、$\overline{X}$ の分散 $V[\overline{X}]$ について考えます。
$V[\overline{X}]=\dfrac{1}{n^2}(V[X_1]+\cdots +V[X_n])\\
=\dfrac{\sigma^2}{n}$
となります。

これが不偏推定量の分散の中で最小であることを証明するために、クラメール・ラオの不等式を等号で満たすことを確認します。

まず、密度関数は、
$p(x\mid\mu)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)$
となります。

対数を取ります：
$\log p(x\mid\mu)\\
=\log\dfrac{1}{\sqrt{2\pi}\sigma}-\dfrac{(x-\mu)^2}{2\sigma^2}$

微分します：
$\dfrac{\partial}{\partial\mu}\log p(x\mid\mu)=\dfrac{(x-\mu)}{\sigma^2}$

よって、クラメール・ラオの不等式の右辺は、
$\dfrac{1}{nE\left[\dfrac{(x-\mu)^2}{\sigma^4}\right]}=\dfrac{\sigma^2}{n}$
となり、$V[\overline{X}]$ と一致します。よって、先ほどの議論により、$\overline{X}$ が $\mu$ の有効推定量であることが分かりました。

次回は 標準誤差の意味と役立つ理由 を解説します。