多項式カーネルと、対応する特徴ベクトル

最終更新日 2018/02/05

多項式カーネルの定義式、および対応する特徴ベクトルについて述べます。

多項式カーネル

2つの同じサイズのベクトル $x,y$ を入力とし、スカラーを返す以下のような関数 $k(x,y)$ を、多項式カーネルと言います。
$k(x,y)=(1+x^{\top}y)^d$
(次数 $d$ は正の整数とします)

カーネルと特徴ベクトルの対応

関数 $k(x,y)$ が、
$k(x,y)=\phi(x)^{\top}\phi(y)$
と表現できるとき、
$k(x,y)$ は特徴ベクトル $\phi$ に対応するということにします。

多項式カーネル $k(x,y)=(1+x^{\top}y)^d$ にはどのような特徴ベクトルが対応しているでしょうか?

対応する特徴ベクトル(2次の場合)

例として、$d=2$ でベクトルのサイズも $2$ である場合を考えます。

$x=(x_1,x_2)$、$y=(y_1,y_2)$ とします。

このとき、多項式カーネルは、
$(1+x^{\top}y)^2\\
=(1+x_1y_1+x_2y_2)^2\\
=\phi(x)^{\top}\phi(y)$
と変形できます。

ただし、
$\phi(x)=(1,\sqrt{2}x_1,\sqrt{2}x_2,\sqrt{2}x_1x_2,x_1^2,x_2^2)$
$\phi(y)=(1,\sqrt{2}y_1,\sqrt{2}y_2,\sqrt{2}y_1y_2,y_1^2,y_2^2)$
です。

$\phi$ の各成分は、もとのベクトルの各成分についての、$2$ 次以下の全種類の単項式になっています(※)。

※このページでは、係数部分のみが異なる単項式は「同じ種類の単項式」とみなします。$x_1,x_2$ について $2$ 次以下の単項式は6種類になります。

対応する特徴ベクトル

$d\geq 3$ の場合も、上記と同様に多項定理を使って計算すると、以下のことが分かります。

多項式カーネル $K(x,y)=(1+x^{\top}y)^d$ には、
$d$ 次以下の全種類の単項式を各成分に持つような特徴ベクトル $\phi$ が対応します。

つまり、多項式カーネルを使うことは、
「もととなる説明変数」についての $d$ 次以下の全種類の単項式を特徴量として考えることに対応します。

他の形

より一般に、$c$ を定数として、
$k(x,y)=(c+x^{\top}y)^d$
のことを多項式カーネルと呼ぶことがあります。

$d$ 次以下の全種類の単項式を各成分に持つような特徴ベクトル $\phi$ が対応する
という性質は変わりません(単項式の係数が変わります)。

ただし、$c=0$ のときは、斉次型になります。つまり、対応する特徴ベクトルは、$d$ 次のみの全種類の単項式を各成分に持つような特徴ベクトルになります。

次回は ガウスカーネルとその特徴ベクトル を解説します。

ページ上部へ戻る