多変量正規分布における条件付き確率の式について考察します。
問題設定
平均が $\overrightarrow{x}$、分散共分散行列が $\Sigma$ である多変量正規分布に従う確率変数ベクトル $\overrightarrow{x}$ について考えます：
$\overrightarrow{x}\sim N(\overrightarrow{\mu},\Sigma)$
$\overrightarrow{x}$ の中の一部の値が分かったときに、残りの確率変数が従う分布（条件付き分布）について理解するのが目標です。
値が分かった部分：$\overrightarrow{x}_b$
まだ分からない部分：$\overrightarrow{x}_a$
として、$\overrightarrow{x}=\begin{pmatrix}\overrightarrow{x}_a\\\overrightarrow{x}_b\end{pmatrix}$
のように分割して書きます。
また、平均ベクトルと分散共分散行列も、分割して表記するための記号を用意しておきます：
$\overrightarrow{\mu}=\begin{pmatrix}\overrightarrow{\mu}_a\\\overrightarrow{\mu}_b\end{pmatrix}$
$\Sigma=\begin{pmatrix}\Sigma_{aa}&\Sigma_{ab}\\\Sigma_{ab}^{\top}&\Sigma_{bb}\end{pmatrix}$
結論（条件付き確率分布の式）
条件付き分布（条件付き確率密度関数）を計算すると、以下のことが分かります：
・$\overrightarrow{x_b}$ が分かったもとで、$\overrightarrow{x_a}$ は多変量正規分布 $N(\overrightarrow{\mu}_{a\mid b},\Sigma_{a\mid b})$ に従う。
・ただし、条件付き分布の平均は、
$\overrightarrow{\mu}_{a\mid b}=\overrightarrow{\mu}_a+\Sigma_{ab}\Sigma_{bb}^{-1}(\overrightarrow{x}_b-\overrightarrow{\mu}_b)$
・条件付き分布の分散共分散行列は、
$\Sigma_{a\mid b}=\Sigma_{aa}-\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ab}^{\top}$
※多次元のガウス分布は平均と分散共分散行列が分かれば一意に定まります。
具体的な計算は下記の参考文献を参照してください。（この記事の記号の使い方はこの文献を参考にしています）
参考文献：パターン認識と機械学習（上），C.M.ビショップ著，
平均の式の意味
$\overrightarrow{\mu}_{a\mid b}=\overrightarrow{\mu}_a+\Sigma_{ab}\Sigma_{bb}^{-1}(\overrightarrow{x}_b-\overrightarrow{\mu}_b)$
について考察してみます。
・未知の確率変数部分のもともとの期待値は $\overrightarrow{\mu}_a$ でしたが、$\overrightarrow{x}_b$ の値が決まることで、期待値が $\Sigma_{ab}\Sigma_{bb}^{-1}(\overrightarrow{x}_b-\overrightarrow{\mu}_b)$ だけ補正されます。
・$\overrightarrow{x}_b=\overrightarrow{\mu}_b$ のときは、全く補正されません。$\overrightarrow{x}_b$ が $\overrightarrow{\mu}_{b}$ から離れれば離れるほど（つまり値が予想外であればあるほど）補正の量は大きくなります。
・$\overrightarrow{x}_a$ と $\overrightarrow{x}_b$ が独立な場合、$\Sigma_{ab}$ の各成分は $0$ となり、補正部分は $0$ になります。つまり、独立な場合には $\overrightarrow{x}_b$ の値が分かっても、そこから $\overrightarrow{x}_a$ の値についての情報を得ることはできません。
分散の式の意味
$\Sigma_{a\mid b}=\Sigma_{aa}-\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ab}^{\top}$
について考察してみます。
・未知の確率変数部分のもともとの分散共分散行列は $\Sigma_{aa}$ でしたが、$\overrightarrow{x}_b$ の値が決まることで、分散共分散が $-\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ab}^{\top}$ だけ補正されます。
・補正される量は、観測した $\overrightarrow{x}_b$ の値によらず一定です。
・補正部分 $-\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ab}^{\top}$ の対角成分は $0$ 以下になります。（$\Sigma_{bb}^{-1}$ が半正定値対称行列であることと、半正定値対称行列についての二次形式の値が $0$ 以上になることから分かります。）
つまり、$\overrightarrow{x}_b$ について知ることで、$\overrightarrow{x}_a$ についての不確定さが（ある意味で）減少すると言えます。
次回は 混合ガウス分布（GMM）の意味と役立つ例 を解説します。
