共役事前分布の意味といくつかの例

共役事前分布の意味と具体例について、大雑把に解説します。

共役事前分布とは

ベイズ推定の文脈で登場する以下の式を考えます:
$p(\theta\mid x)$$p(x\mid \theta)$$p(\theta)$

ただし、
$p(\theta)$ は事前分布
$p(x\mid \theta)$ は尤度
$p(\theta\mid x)$ は事後分布
です。

尤度が与えられたときに、事前分布をうまいこと選ぶと、事後分布事前分布と同じタイプの分布になります。

このようなうまい事前分布のことを、共役事前分布と言います。
(事前分布と事後分布が同じタイプの分布だと分かっていれば、事後分布の計算が楽になるので嬉しい)

例1:ベータ分布は二項分布の共役事前分布

二項分布:$p(x\mid\theta)={}_{n}\mathrm{C}_x\theta^x(1-\theta)^{n-x}$
に対して、
ベータ分布:$p(\theta)=\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}$
が共役事前分布であることを証明してみます。

($\alpha,\beta$ はベータ分布のパラメータ、$B(\alpha,\beta)$ は定数です。)

実際、
$p(\theta\mid x)$$p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を($\theta$ に依存しない定数部分は無視して)計算すると、
$p(\theta\mid x)$ ∝ $\theta^{x+\alpha-1}(1-\theta)^{n-x+\beta-1}$
となります。つまり、事後分布 $p(\theta\mid x)$事前分布と同じくベータ分布となっています。

なお、パラメータは事前分布→事後分布で、
$\alpha\to x+\alpha$
$\beta\to n-x+\beta$
と変化します。

例2:正規分布は正規分布の共役事前分布

(分散を固定して、平均 $\theta$ を推定する文脈で)
正規分布:$p(x\mid\theta)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\dfrac{(x-\theta)^2}{2\sigma^2}\right\}$
に対して、
正規分布:$p(\theta)=\dfrac{1}{\sqrt{2\pi\sigma_0^2}}\exp\left\{-\dfrac{(\theta-\mu_0)^2}{2\sigma_0^2}\right\}$
が共役事前分布であることを証明してみます。

実際、
$p(\theta\mid x)$$p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を($\theta$ に依存しない定数部分は無視して)計算すると、
$p(\theta\mid x)$ ∝ $\exp(-A\theta^2+B\theta+C)$
という形になります(ただし、$A > 0$ です)。このような形の分布は正規分布です。つまり、事後分布 $p(\theta\mid x)$事前分布と同じく正規分布となっています。

例3:逆ガンマ分布は正規分布の共役事前分布

(平均を固定して、分散 $\theta$ を推定する文脈で)
正規分布:$p(x\mid\theta)=\dfrac{1}{\sqrt{2\pi\theta}}\exp\left\{-\dfrac{(x-\mu)^2}{2\theta}\right\}$
に対して、
逆ガンマ分布:$p(\theta)=\dfrac{\beta^{\alpha}}{\Gamma(\alpha)}\theta^{-\alpha-1}\exp\left(-\dfrac{\beta}{\theta}\right)$
が共役事前分布であることを証明してみます。

($\alpha,\beta$ は逆ガンマ分布のパラメータ、$\Gamma(\alpha)$ は定数です。)

実際、
$p(\theta\mid x)$$p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を($\theta$ に依存しない定数部分は無視して)計算すると、
$p(\theta\mid x)$ ∝ $\theta^{-\alpha-\frac{3}{2}}\exp\left[-\dfrac{1}{\theta}\left\{\beta+\dfrac{(x-\mu)^2}{2}\right\}\right]$
となります。つまり、事後分布 $p(\theta\mid x)$事前分布と同じく逆ガンマ分布となっています。

なお、パラメータは事前分布→事後分布で、
$\alpha\to \alpha+\dfrac{1}{2}$
$\beta\to \beta+\dfrac{(x-\mu)^2}{2}$
と変化します。

英語版Wikipedia には、共役事前分布のより多くの例があります。

次:対応のあるt検定(母平均の差の検定)
前:最小二乗法と最尤法の関係

スポンサーリンク

スポンサーリンク

誤植がございましたら @mathwordsnet までご連絡をお願いいたします。
ページ上部へ戻る