ガウスカーネルの意味と対応する特徴ベクトルについて整理します。
ガウスカーネルとは
・$K(x,x’)=e^{-a(x-x’)^2}$
という式で定義される二変数関数のことをガウスカーネルと言います。$a$ は正の定数です。関数の入力は $x$ と $x’$ で、出力はスカラーです。このページでは一次元のガウスカーネルについて説明します($x$ と $x’$ はスカラーとします)。
・ガウス分布(正規分布)の確率密度関数に似ています。
・ガウスカーネル $K(x,x’)$ は $x$ と $x’$ の「近さ」を表します。
・$x=x’$ のとき $K(x,x’)=1$ で、$x\neq x’$ のときは $K(x,x’)<1$ です。
ガウスカーネルの特徴ベクトルとは
データ $x$ に対する特徴ベクトルが $\overrightarrow{\phi}(x)$ であるとき、それに対応するカーネル関数は、
$K(x,x’)=\overrightarrow{\phi}(x)^{\top}\overrightarrow{\phi}(x’)$
となります(カーネルは特徴ベクトルの内積です)。
では、逆に、カーネル関数がガウスカーネル $K(x,x’)=e^{-a(x-x’)^2}$ であるとき、それに対応する特徴ベクトルはどうなるでしょうか?
つまり、
$e^{-a(x-x’)^2}=\overrightarrow{\phi}(x)^{\top}\overrightarrow{\phi}(x’)$
となる特徴ベクトル $\overrightarrow{\phi}(x)$ はどうなるでしょうか。
実は、第 $r$ 成分が
$\phi_r(x)=Ce^{-2a(x-r)^2}$
であるようなベクトル $\overrightarrow{\phi}(x)$ となります。
ただし、$C=\left(\dfrac{4a}{\pi}\right)^{\frac{1}{4}}$ です。
また、$r$ は実数全体を動きます。つまり、$\overrightarrow{\phi}(x)$ は(連続無限個成分があるような)無限次元ベクトルになります。
証明
証明したいことは、
$e^{-a(x-x’)^2}=\overrightarrow{\phi}(x)^{\top}\overrightarrow{\phi}(x’)$
です。
$\overrightarrow{\phi}(x)$ は「連続無限個」成分があるベクトルです。そのため、上式の右辺、つまり特徴ベクトルの内積は、積分になります:
$\displaystyle\int_{-\infty}^{\infty}\phi_r(x)\phi_r(x’)dr$
(各成分の積の和というイメージです)
$\phi_r(x)$ を代入して変形(指数の中身を平方完成)すると、
$\displaystyle\int_{-\infty}^{\infty}Ce^{-2a(x-r)^2}Ce^{-2a(x’-r)^2}dr\\
=C^2\displaystyle\int_{-\infty}^{\infty}e^{-4a(r-\frac{x+x’}{2})^2-a(x-x’)^2}dr\\
=C^2e^{-a(x-x’)^2}\displaystyle\int_{-\infty}^{\infty}e^{-4a(r-\frac{x+x’}{2})^2}dr\\
=e^{-a(x-x’)^2}C^2\sqrt{\dfrac{\pi}{4a}}\\
=e^{-a(x-x’)^2}$
となりました。
ただし、積分には、公式
$\displaystyle\int_{-\infty}^{\infty}e^{-A(r-k)^2}dr=\sqrt{\dfrac{\pi}{A}}$
を使いました。
参考文献:カーネル多変量解析,赤穂昭太郎著
次回は グラム行列の意味と半正定値性 を解説します。