無相関化と白色化の意味と式

最終更新日 2019/06/15

無相関化
確率変数を並べた縦ベクトル $\overrightarrow{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix}$ に対して、正方行列 $P$ をうまく選ぶと、$\overrightarrow{y}=P\overrightarrow{x}$ の各成分は互いに無相関な確率変数となる。

無相関化と白色化について説明します。標準化については統計における標準化の意味と目的を参照してください。

無相関化の準備:主成分分析について

無相関化について説明する前に「主成分分析は分散共分散行列の対角化」という前提知識について説明します。

まず、$\overrightarrow{x}$ の平均ベクトルを $\mu$ とおきます。

すると、$\overrightarrow{x}$ の分散共分散行列は、
$\Sigma=E[(\overrightarrow{x}-\overrightarrow{\mu})(\overrightarrow{x}-\overrightarrow{\mu})^{\top}]$
となります。

ここで、$\Sigma$ は半正定値対称行列なので、直交行列 $P$ を用いて、対角化できます:
$P^{-1}\Sigma P=D$

ただし、
・$D$ は対角行列で、対角成分は $\Sigma$ の各固有値 $\lambda_1,\cdots,\lambda_n$ です。$\lambda_1,\cdots,\lambda_n$ は全て $0$ 以上です。
・$P$ の各列ベクトルは $\Sigma$ の固有ベクトルです。一番大きい固有値に対応する固有ベクトルが第一主成分に対応します。

なお、$P$ は直交行列なので、
$P^{\top}\Sigma P=D$
と書いても同じことです。

無相関化の導出

上記の行列 $P$ を使って、$\overrightarrow{x}$ を一次変換してみましょう:
$\overrightarrow{y}=P\overrightarrow{x}$

このとき、$\overrightarrow{y}$ の分散共分散行列は、
$E[(P\overrightarrow{x}-P\overrightarrow{\mu})(P\overrightarrow{x}-P\overrightarrow{\mu})^{\top}]\\
=P^{\top}E[(\overrightarrow{x}-\overrightarrow{\mu})(\overrightarrow{x}-\overrightarrow{\mu})^{\top}]P\\
=P^{\top}\Sigma P\\
=D$
となり、対角行列になります。

つまり、非対角成分が全て $0$、
→共分散が全て $0$
なので、$\overrightarrow{y}$ の各成分は互いに無相関です。

つまり、もとの確率変数を、主成分分析で使う行列 $P$ で一次変換すると、無相関化できます。

白色化

さらに、もうひと工夫すると、各成分を互いに無相関にし、平均を $0$、分散を $1$ にすることができます(ただし、固有値 $\lambda_1,\cdots,\lambda_n$ が $0$ でない場合を考えます)。

具体的には、確率変数を並べた縦ベクトル $\overrightarrow{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix}$ に対して、
$\overrightarrow{z}=D^{-\frac{1}{2}}P(\overrightarrow{x}-\overrightarrow{\mu})$ という変換を行うと、$\overrightarrow{z}$ の各成分は互いに無相関で、平均が $0$ 分散が $1$ となります。

ただし、$D^{-\frac{1}{2}}$ は、対角成分が $\dfrac{1}{\sqrt{\lambda_1}},\cdots,\dfrac{1}{\sqrt{\lambda_n}}$ である対角行列です。

実際、無相関化の導出と同様にして、
・$E[\overrightarrow{z}]=\overrightarrow{0}$
・$E[\overrightarrow{z}\overrightarrow{z}^{\top}]=D^{-\frac{1}{2}}P^{\top}\Sigma PD^{-\frac{1}{2}}=I$
(単位行列)
であることが導出できます。

次回は One-hotベクトル(ワンホット表現)の意味とメリット・デメリット を解説します。

ページ上部へ戻る