条件付き独立の意味と例

確率変数の独立性、および条件付き独立性について説明します。

確率変数の独立

条件付き独立の前に「ただの独立」について確認します。

条件付き確率の定義より、
$P(X,Y)=P(X\mid Y)P(Y)$
は常に成り立つので、

$X$ と $Y$ が独立 $\iff$
$P(X)=P(X\mid Y)$
と考えることもできます。

上の式は、（何も与えられていないときの）$X$ の分布が、$Y$ が与えられたときの $X$ の分布と等しいことを示しています。つまり「$Y$ の値が分かっても、$X$ に関する情報は得られない」と解釈できます。

同様に、$X$ と $Y$ の役割を交換すると、
$X$ と $Y$ が独立 $\iff$
$P(Y)=P(Y\mid X)$
も分かります。

以上を日本語でまとめると、
・$X$ と $Y$ が独立
・$Y$ の値が分かっても、$X$ に関する情報は得られない
・$X$ の値が分かっても、$Y$ に関する情報は得られない
という３つは全て同じと考えることができます。

条件付き独立

条件付き確率の定義より、
$P(X,Y\mid Z)=P(X\mid Y,Z)P(Y\mid Z)$
は常に成り立つので、

$X$ と $Y$ が $Z$ を与えたもとで条件付き独立 $\iff$
$P(X\mid Z)=P(X\mid Y,Z)$
と考えることもできます。

上の式は、$Z$ が与えられたときの $X$ の分布が、$Y$ と $Z$ が与えられたときの $X$ の分布と等しいことを示しています。つまり「$Z$ が分かっている状況で新たに $Y$ が分かっても、$X$ に関する情報は得られない」と解釈できます。

同様に、$X$ と $Y$ の役割を交換すると、
$X$ と $Y$ が $Z$ を与えたもとで条件付き独立 $\iff$
$P(Y\mid Z)=P(Y\mid X,Z)$
も分かります。

以上を日本語でまとめると、
・$X$ と $Y$ が $Z$ を与えたもとで条件付き独立
・$Z$ が分かっている状況で新たに $Y$ が分かっても、$X$ に関する情報は得られない
・$Z$ が分かっている状況で新たに $X$ が分かっても、$Y$ に関する情報は得られない
という３つは全て同じと考えることができます。

例

例えば、２つの異なるサイコロA、Bがあって
$X$：サイコロAの出た目
$Y$：サイコロBの出た目
とすると、$X$ と $Y$ は独立です。しかし、
$Z$：サイコロAとBの出た目の和の偶奇を表す確率変数
とすると、$Z$ を与えたもとでは $X$ と $Y$ は（片方の情報からもう片方の情報を得られるので）条件付き独立にはなりません。

例えば、直感的な例ですが、
$X$：身長
$Y$：知っている単語の数
とすると$X$ と $Y$ は独立ではありません（一般に、身長が高い人の方が年齢が高く、知っている単語の数は多くなりがちなので）。しかし、
$Z$：年齢
とすると、$Z$ を与えたもとでは $X$ と $Y$ は条件付き独立になります（年齢が一定のもとでは、身長と知っている単語の数の片方の情報からもう片方の情報を得られません）。

上記の２つの例は英語版Wikipedia Conditional independence に載っていたものです。

次回は 同時確率密度関数から期待値、分散、共分散を計算する を解説します。