正規分布の再生性の2通りの証明

和の分布が同じ分布族に属するとき、その分布族は再生性を持つと言います。このページでは、正規分布が再生性を持つことを、2通りの方法で証明します。

正規分布の再生性の証明1：モーメント母関数

平均が $\mu_1$、分散が $\sigma_1^2$ の正規分布のモーメント母関数は、
$E[e^{tX}]=\exp\left(\mu_1t+\dfrac{\sigma_1^2t^2}{2}\right)$
となります(補足1)。

よって、同様に、
$E[e^{tY}]=\exp\left(\mu_2t+\dfrac{\sigma_2^2t^2}{2}\right)$

となります。よって、$X+Y$ のモーメント母関数は、
$E[e^{t(X+Y)}]\\
=E[e^{tX}]E[e^{tY}]\\
=\exp\left(\mu_1t+\dfrac{\sigma_1^2t^2}{2}\right)\exp\left(\mu_2t+\dfrac{\sigma_2^2t^2}{2}\right)\\
=\exp\left\{(\mu_1+\mu_2)t+\dfrac{\sigma_1^2+\sigma_2^2}{2}t^2\right\}$
となります。

これは、平均が $\mu_1+\mu_2$ で分散が $\sigma_1^2+\sigma_2^2$ である正規分布のモーメント母関数です。つまり、$X+Y$ は平均 $\mu_1+\mu_2$ 分散 $\sigma_1^2+\sigma_2^2$ の正規分布に従うと言えます。

証明1の補足

補足1：モーメント母関数とは、単に $e^{tX}$ の期待値のことです。
正規分布のモーメント母関数の計算の詳細は省略しますが、ガウス積分を使って以下の式が導出できます。
$E[e^{tX}]=\displaystyle\int_{-\infty}^{\infty}e^{tx}\dfrac{1}{\sqrt{2\pi}\sigma_1}\exp\left\{-\dfrac{(x-\mu_1)^2}{2\sigma_1^2}\right\}\\
=\exp\left(\mu_1t+\dfrac{\sigma_1^2t^2}{2}\right)$
参考：ガウス積分まわりの公式リスト

正規分布の再生性の証明2：畳み込み

$X$ と $Y $が従う正規分布の確率密度関数は、それぞれ
$f_X(x)=\dfrac{1}{\sqrt{2\pi}\sigma_1}\exp\left\{-\dfrac{(x-\mu_1)^2}{2\sigma_1^2}\right\}$
$f_Y(y)=\dfrac{1}{\sqrt{2\pi}\sigma_2}\exp\left\{-\dfrac{(y-\mu_2)^2}{2\sigma_2^2}\right\}$

よって、$X+Y$ が従う分布の確率密度関数は、
$f_{X+Y}(z)=\displaystyle\int_{-\infty}^{\infty} f_X(t)f_Y(z-t)dt\\
=C\displaystyle\int_{-\infty}^{\infty}\exp\left\{-\dfrac{(t-\mu_1)^2}{2\sigma_1^2}-\dfrac{(z-t-\mu_2)^2}{2\sigma_2^2}\right\}dt$
となります(補足1)。ただし、$C$ は $z,t$ に依存しない定数です。

$\exp$ の中身は $z,t$ の二次関数なので、$t$ について平方完成してから $z$ について平方完成すると、以下のような形になります(補足2)：
$C\displaystyle\int_{-\infty}^{\infty}\exp(pt+qz+r)^2\exp(az+b)^2\exp(k)dt$
ただし、$p,q,r,a,b,k$ は $z,t$ に依存しない定数です。

$t$ に依存しない部分を積分の外に出します：
$C’\exp(az+b)^2\displaystyle\int_{-\infty}^{\infty}\exp(pt+qz+r)^2dt$

ここで、残った定積分は $z,t$ に依存しない定数になります（なぜなら $t’=t+\dfrac{q}{p}z$ と置換して積分すれば、$z$ の項を消すことができるためです）。結局、
$f_{X+Y}(z)=C”\exp(az+b)^2$
という形になります（$C’,C”$ も $z,t$ に依存しない定数です）。

指数の肩が二次関数であるような確率密度関数に対応する分布は正規分布です(補足3)。よって、$X+Y$ は正規分布に従うことが分かります。

後は、$X+Y$ の平均と分散を計算すればOKです。平均は、$E[X+Y]=E[X]+E[Y]=\mu_1+\mu_2$ になります。また、$X$ と $Y$ が独立なので、分散も和 $\sigma_1^2+\sigma_2^2$ になります。

証明2の理解に必要な前提知識

補足1：和の分布は畳み込みで計算できます。
詳細は、
確率変数の和の分布とポアソン分布での例
に記載しています。

補足2：$t$ と $z$ の二次関数を平方完成すると、$(pt+qz+r)^2+(az+b)^2+k$ という形にできます。
気になる方は、$a,b,p,q,r,k$ を全て計算してみるとスッキリするでしょう（計算はやや大変です）。

補足3：指数の肩が二次関数であるような確率密度関数に対応する分布は正規分布になります。
実際、指数の肩が二次関数である確率密度関数は、平方完成することで、
$C\exp\left\{-\dfrac{(z-\mu)^2}{2\sigma^2}\right\}$
という形に変形できます。これは正規分布の確率密度関数です。

次回は 多変量正規分布における条件付き確率の式と意味 を解説します。