無相関化と白色化の意味と式

無相関化
確率変数を並べた縦ベクトル $\overrightarrow{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix}$ に対して、正方行列 $P$ をうまく選ぶと、$\overrightarrow{y}=P\overrightarrow{x}$ の各成分は互いに無相関な確率変数となる。


無相関化と白色化について説明します。標準化については統計における標準化の意味と目的を参照してください。

無相関化の準備:主成分分析について

無相関化について説明する前に「主成分分析は分散共分散行列の対角化」という前提知識について説明します。

まず、$\overrightarrow{x}$ の平均ベクトルを $\mu$ とおきます。

すると、$\overrightarrow{x}$ の分散共分散行列は、
$\Sigma=E[(\overrightarrow{x}-\overrightarrow{\mu})(\overrightarrow{x}-\overrightarrow{\mu})^{\top}]$
となります。

ここで、$\Sigma$ は半正定値対称行列なので、直交行列 $P$ を用いて、対角化できます:
$P^{-1}\Sigma P=D$

ただし、
・$D$ は対角行列で、対角成分は $\Sigma$ の各固有値 $\lambda_1,\cdots,\lambda_n$ です。$\lambda_1,\cdots,\lambda_n$ は全て $0$ 以上です。
・$P$ の各列ベクトルは $\Sigma$ の固有ベクトルです。一番大きい固有値に対応する固有ベクトルが第一主成分に対応します。

なお、$P$ は直交行列なので、
$P^{\top}\Sigma P=D$
と書いても同じことです。

無相関化の導出

上記の行列 $P$ を使って、$\overrightarrow{x}$ を一次変換してみましょう:
$\overrightarrow{y}=P\overrightarrow{x}$

このとき、$\overrightarrow{y}$ の分散共分散行列は、
$E[(P\overrightarrow{x}-P\overrightarrow{\mu})(P\overrightarrow{x}-P\overrightarrow{\mu})^{\top}]\\
=P^{\top}E[(\overrightarrow{x}-\overrightarrow{\mu})(\overrightarrow{x}-\overrightarrow{\mu})^{\top}]P\\
=P^{\top}\Sigma P\\
=D$
となり、対角行列になります。

つまり、非対角成分が全て $0$、
→共分散が全て $0$
なので、$\overrightarrow{y}$ の各成分は互いに無相関です。

つまり、もとの確率変数を、主成分分析で使う行列 $P$ で一次変換すると、無相関化できます。

白色化

さらに、もうひと工夫すると、各成分を互いに無相関にし、平均を $0$、分散を $1$ にすることができます(ただし、固有値 $\lambda_1,\cdots,\lambda_n$ が $0$ でない場合を考えます)。

具体的には、確率変数を並べた縦ベクトル $\overrightarrow{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix}$ に対して、
$\overrightarrow{z}=D^{-\frac{1}{2}}P(\overrightarrow{x}-\overrightarrow{\mu})$ という変換を行うと、$\overrightarrow{z}$ の各成分は互いに無相関で、平均が $0$ 分散が $1$ となります。

ただし、$D^{-\frac{1}{2}}$ は、対角成分が $\dfrac{1}{\sqrt{\lambda_1}},\cdots,\dfrac{1}{\sqrt{\lambda_n}}$ である対角行列です。

実際、無相関化の導出と同様にして、
・$E[\overrightarrow{z}]=\overrightarrow{0}$
・$E[\overrightarrow{z}\overrightarrow{z}^{\top}]=D^{-\frac{1}{2}}P^{\top}\Sigma PD^{-\frac{1}{2}}=I$
(単位行列)
であることが導出できます。

次:マハラノビス距離の意味を2次元の場合で理解する
前:データの正規化(最大値・最小値バージョン、平均・分散バージョン)

スポンサーリンク

スポンサーリンク

誤植がございましたら @mathwordsnet までご連絡をお願いいたします。
ページ上部へ戻る