共役事前分布とは、ベイズ推定において「事後分布」と「事前分布」が同じ形になるように選んだ「事前分布」のことです。
共役事前分布の意味と具体例（ベータ分布、正規分布、逆ガンマ分布）について、大雑把に解説します。
共役事前分布とは
共役事前分布を理解するためには「事前分布」と「事後分布」を理解している必要があります。
まず、ベイズ推定の文脈では、以下の式が頻繁に登場します。
$p(\theta\mid x)$ ∝ $p(x\mid \theta)$$p(\theta)$
この式において、
$p(\theta)$ を事前分布
$p(x\mid \theta)$ を尤度
$p(\theta\mid x)$ を事後分布
と言います。
尤度が与えられたときに、事前分布をうまいこと選ぶと、事後分布が事前分布と同じタイプの分布になります。
このようなうまい事前分布のことを、共役事前分布と言います。
（事前分布と事後分布が同じタイプの分布だと分かっていれば、事後分布の計算が楽になるので嬉しい）
例１：ベータ分布は二項分布の共役事前分布
二項分布：$p(x\mid\theta)={}_{n}\mathrm{C}_x\theta^x(1-\theta)^{n-x}$
に対して、
ベータ分布：$p(\theta)=\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}$
が共役事前分布であることを証明してみます。
（$\alpha,\beta$ はベータ分布のパラメータ、$B(\alpha,\beta)$ は定数です。）
実際、
$p(\theta\mid x)$ ∝ $p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を（$\theta$ に依存しない定数部分は無視して）計算すると、
$p(\theta\mid x)$ ∝ $\theta^{x+\alpha-1}(1-\theta)^{n-x+\beta-1}$
となります。つまり、事後分布 $p(\theta\mid x)$ も事前分布と同じくベータ分布となっています。
なお、パラメータは事前分布→事後分布で、
$\alpha\to x+\alpha$
$\beta\to n-x+\beta$
と変化します。
例２：正規分布は正規分布の共役事前分布
（分散を固定して、平均 $\theta$ を推定する文脈で）
正規分布：$p(x\mid\theta)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\dfrac{(x-\theta)^2}{2\sigma^2}\right\}$
に対して、
正規分布：$p(\theta)=\dfrac{1}{\sqrt{2\pi\sigma_0^2}}\exp\left\{-\dfrac{(\theta-\mu_0)^2}{2\sigma_0^2}\right\}$
が共役事前分布であることを証明してみます。
実際、
$p(\theta\mid x)$ ∝ $p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を（$\theta$ に依存しない定数部分は無視して）計算すると、
$p(\theta\mid x)$ ∝ $\exp(-A\theta^2+B\theta+C)$
という形になります（ただし、$A > 0$ です）。このような形の分布は正規分布です。つまり、事後分布 $p(\theta\mid x)$ も事前分布と同じく正規分布となっています。
例３：逆ガンマ分布は正規分布の共役事前分布
（平均を固定して、分散 $\theta$ を推定する文脈で）
正規分布：$p(x\mid\theta)=\dfrac{1}{\sqrt{2\pi\theta}}\exp\left\{-\dfrac{(x-\mu)^2}{2\theta}\right\}$
に対して、
逆ガンマ分布：$p(\theta)=\dfrac{\beta^{\alpha}}{\Gamma(\alpha)}\theta^{-\alpha-1}\exp\left(-\dfrac{\beta}{\theta}\right)$
が共役事前分布であることを証明してみます。
（$\alpha,\beta$ は逆ガンマ分布のパラメータ、$\Gamma(\alpha)$ は定数です。）
実際、
$p(\theta\mid x)$ ∝ $p(x\mid \theta)$$p(\theta)$
という式に従って、事後分布を（$\theta$ に依存しない定数部分は無視して）計算すると、
$p(\theta\mid x)$ ∝ $\theta^{-\alpha-\frac{3}{2}}\exp\left[-\dfrac{1}{\theta}\left\{\beta+\dfrac{(x-\mu)^2}{2}\right\}\right]$
となります。つまり、事後分布 $p(\theta\mid x)$ も事前分布と同じく逆ガンマ分布となっています。
なお、パラメータは事前分布→事後分布で、
$\alpha\to \alpha+\dfrac{1}{2}$
$\beta\to \beta+\dfrac{(x-\mu)^2}{2}$
と変化します。
英語版Wikipedia には、共役事前分布のより多くの例があります。
次回は 対応のあるt検定（母平均の差の検定） を解説します。
