利用者:IslandPeaceTree/再生核ヒルベルト空間

関連した異なるRKHSの見方を表した図

関数解析学（数学の一分野）において、再生核ヒルベルト空間（RKHS）（さいせいかくヒルベルトくうかん、英: reproducing kernel hilbert space）は、点評価が連続線形汎函数であるような関数から成るヒルベルト空間である。大雑把に言えば、関数$f$と$g$がノルムとして近ければ、つまり$||f-g||$が小さければ、$f$と$g$は各点でも近い、つまり$|f(x)-g(x)|$が任意の$x$で小さいということである。逆は必ずしも成り立つ必要は無い。例えば、ノルムを一様ノルムとしたとき関数列$\sin ^{n}(x)$ は各点収束するが一様収束しない。（ただし、一様ノルムは極化恒等式を満たさないためにいかなる内積からも誘導されないから、これは反例ではない。）

関数のヒルベルト空間であってRKHSでないものを作るのは簡単ではない。しかし、いくつかの例は見つかっている。

L² 空間は関数のヒルベルト空間ではない（したがってRKHSではない）が、関数の同値類のヒルベルト空間ではある（例えば、$f(x)=0$と$g(x)=1_{\mathbb {Q} }$で定義された$f$と$g$はL²では同値である）。一方、 L²ノルムがノルムであるようなRKHSは存在する。例として、帯域制限関数の空間がある(詳細は後)。

RKHSは、その中の任意の関数を再生するような核と関係している。関数を「再生する」とは、関数の定義域内の任意の$x$に対して、その関数の「$x$での評価」が、核から生成される関数との内積をとることで可能である、ということである。そのような再生核は、評価関数が全て連続である時かつその時に限って存在する。

再生核が最初に提唱されたのは調和関数や重調和方程式の境界値問題に関するStanislaw Zarembaの1907年の研究である。同時期に、James Mercerは積分方程式の理論における再生性を満たすような関数を研究した。その後再生核のアイデアは20年近く放置されたが、セゲー・ガーボル、ステファン・ベルグマン、サロモン・ボホナーによる論文で再び触れられるようになった。その後1950年代前半にナフマン・アロンシャインとステファン・ベルグマンがこのテーマを体系的に発展させた。

再生核ヒルベルト空間には、複素解析や調和解析、量子力学など様々な応用がある。その中でも特に、RKHS内で経験損失を最小化するような関数は訓練データで評価された核関数の線形結合で書けるというリプリゼンター定理のおかげで、統計的学習理論の分野で再生核ヒルベルト空間が重要である。これは、経験損失最小化問題を無限次元の最適化問題から有限次元最適化問題へ簡単かできるために、実用上有用な結果である。

簡単のため、ここでは実数値ヒルベルト空間の概要を説明する。この理論は簡単に複素数値関数に拡張することができ、したがって解析関数空間であるような再生核ヒルベルト空間の重要な例を多く含んでいる。

定義

$X$を集合とし、$H$を、$X$上で各点での加算とスカラー倍が定義された実数値関数から成るヒルベルト空間とする。ヒルベルト空間$H$での評価汎関数とは、点$x\in X$について、関数を受け取って

$L_{x}:f\mapsto f(x){\text{ }}\forall f\in H$

と評価する線形汎関数である。$H$が再生核ヒルベルト空間であるとは、任意の$x\in X$について、$L_{x}$が$H$上の任意の$f$で連続であることである。同値な条件は、$L_{x}$が$H$上の有界作用素である、つまり

$|L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,$

(1)

を満たす$M_{x}>0$が存在することである。任意の$x\in X$について$M_{x}<\infty$でなければならないが、${\textstyle \sup _{x}M_{x}=\infty }$でも良い。

性質 (1) は、内積が存在し、かつ定義域の任意の点で$H$の任意の関数を評価できるための最も弱い条件であるが、このままでは応用に使いづらい。性質 (1) から、$H$上の関数$f$の評価汎関数が、$f$とある関数$K_{x}$の内積で得られることが導かれ、こちらをRKHSの定義とする方が直感的である。この関数$K_{x}$は再生核 と呼ばれる。RKHSはこの「再生核」から名前が来ている。正確には、リースの表現定理から、$X$の任意の点$x$に対して、$H$のただ1つの要素$K_{x}$が存在して、再生性

$f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.$

(2)

が成り立つ。$K_{x}$は$X$から$\mathbb {R}$（複素ヒルベルト空間なら$\mathbb {C}$）への関数であり、$H$の要素であるから、

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},$

が成り立つ。ただし、$K_{y}\in H$は$L_{y}$を生むような$H$の元である。

これによって、$H$の再生核が以下の関数$K:X\times X\to \mathbb {R}$として定義できる。

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

定義から、$K:X\times X\to \mathbb {R}$（複素なら$\mathbb {C}$）は対称（複素なら共役対称）であり、正定値でもある、つまり

$\sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0$

が任意の$n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .$で成り立つ。Moore–Aronszajnの定理 (下に説明あり) は、ある種これの逆であり、関数$K$がこれらの条件を満たすならば、$K$が再生核であるような$X$上の関数のヒルベルト空間が存在する、という主張である。

例

周波数帯域有限な連続関数の集合$H$はRKHSであることを以下に示す。遮断周波数として定数 $0<a<\infty$をとり、ヒルベルト空間を以下のように定義する。

$H=\{f\in C(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}$

ただし、$C(\mathbb {R} )$は自乗可積分な連続関数の集合であり、${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$は$f$のフーリエ変換である。ヒルベルト空間の内積として、

$\langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.$

と定義する。フーリエ逆変換から

$f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .$

が成り立つ。コーシー＝シュワルツの不等式とプランシュレルの定理より、任意の$x$について以下が成り立つ。

$|f(x)|\leq {\frac {1}{2\pi }}{\sqrt {\int _{-a}^{a}2a|F(\omega )|^{2}\,d\omega }}={\frac {1}{\pi }}{\sqrt {{\frac {a}{2}}\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.$

この不等式より評価汎函数が有界であり、したがって$H$がRKHSであることが示せた。

この例での核関数$K_{x}$は

$K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.$

で表される。上の式で定義された$K_{x}(y)$のフーリエ変換は、

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},$

である。したがって、プランシュレルの定理より

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

となり、核の再生性を実際に確認できた。

この$K_{x}$はディラックのデルタ関数の「帯域制限版」であり、遮断周波数$a$が無限に行くと$K_{x}(y)$は$\delta (y-x)$に収束する。

ムーア・アロンシャインの定理

ここまで、再生核ヒルベルト空間から、対称で正定値(英語版)な再生核関数を定義してきた。一方ムーア・アロンシャインの定理は逆方向の定理である。つまり、対称で正定値な核を1つとると、再生核ヒルベルト空間がただ1つに定まるという定理である。この定理は当初「アロンシャインの再生核定理」と呼ばれていたが、彼がE・H・ムーアの名を定理につけた。

定理 $K$を集合$X$上の対称正定値核とすると、$K$が再生核であるような$X$上のヒルベルト空間がただ1つ存在する。

証明 $X$上の任意の$x$に対して$K_{x}=K(x,\cdot )$と定義する。$H_{0}$を$\{K_{x}:x\in X\}$の線形空間とする。$H_{0}$上の内積を以下のように定義する。

$\left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),$

この定義から$K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}$を得る。内積の対称性は$K$の対称性から示せ、内積の正定値性も$K$の正定値性から示せる。

$H_{0}$を内積に関して完備にしたものを$H$とする。$H$は以下の形で表される関数で構成される。

$f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.$

すると、再生性(2)を示せる:

$\langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).$

一意性を証明するために、$G$を、$K$が再生核であるような、関数から成るヒルベルト空間とする。$X$の任意の$x$と$y$について、

$\langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.$

線形性より$\langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}$が$\{K_{x}:x\in X\}$の張る空間上で成り立つ。$G$は完備であって$H_{0}$を含むから、$H_{0}$を完備化したものを含む、つまり$H\subset G$。

ここから、逆に$G$の任意の要素が$H$の要素であることであることを示したい。$f$を$G$の要素とする。$H$は$G$の部分空間だから、$f_{H}\in H$と$f_{H^{\perp }}\in H^{\perp }$を使って$f=f_{H}+f_{H^{\perp }}$と分解できる。今$x\in X$について、$K$が$G$と$H$の再生核であるから、

$K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.$

が成り立つ。$K_{x}$は$H$に属するから$G$での$f_{H^{\bot }}$との内積が0となる事実を使った。上の式から$G$で$f=f_{H}$が成り立ち、証明完了となる。

積分作用素とマーサーの定理

マーサーの定理を使えば、積分作用素を通して対称正定値核$K$を特徴づけることができ、RKHSの新たな視点を得ることが出来る。$X$を狭義正で有限なボレル測度$\mu$があるようなコンパクト集合であるとし、$K:X\times X\to \mathbb {R}$を連続対称正定値関数とする。積分作用素$T_{K}:L_{2}(X)\to L_{2}(X)$を以下のように定義する。

$[T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)$

ただし、$L_{2}(X)$は$\mu$の測度の下で自乗可積分な関数の空間である。

マーサーの定理によると、積分作用素$T_{K}$の固有値と固有関数が$K$のテイラー展開を意味している。したがって、この固有値と固有関数を使って、再生核が$K$であるようなRKHSを構成できる。詳細は以下の通りである。

上記の仮定のもとでは、$T_{K}$はコンパクトで連続で自己随伴で正定値な作用素である。自己随伴な作用素についてのスペクトル定理より、${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$たる減少列$(\sigma _{i})_{i}\geq 0$が存在して、$L_{2}(X)$の正規直交基底$\{\varphi _{i}\}$を用いて$T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)$と表せる。$T_{K}$の正定値性より、任意の$i$に対して$\sigma _{i}>0$となる。更に、$T_{K}$は連続関数の空間$C(X)$へ連続的に写像するから、連続関数を固有ベクトルとできる。つまり、任意の$i$に対して$\varphi _{i}\in C(X)$である。したがって、マーサーの定理から、$K$は固有値と連続な固有写像を用いて以下のように書ける。

$K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)$

ただし、上の式は、任意の$x,y\in X$に対して

$\lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0$

が成り立つことを意味している。このような級数表現は、$K$のマーサー核やマーサー表現と呼ばれる。

更に、再生核が$K$であるようなRKHS$H$は以下のように与えられる。

$\int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}$

ここで、$H$の内積は以下の式である。

$\langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).$

である。RKHSのこのような表現は、確率や統計で応用があり、例えば確率過程でのカルーネン・レーベ変換やカーネル主成分分析などがある。

特徴写像

特徴写像とは、特徴空間と呼ばれるヒルベルト空間$F$に移す写像$\varphi \colon X\rightarrow F$である。これまでの章では、有界連続な評価関数と、正定値関数と、積分作用素の間の関係を見てきた。この章では、特徴写像を使った別のRKHSの表現を説明する。

特徴写像は

$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.$

(3)

を通して核を定義する。$K$は明らかに対称であり、更に$F$での内積の性質から正定値性も得られる。逆に、各正定値関数と対応する再生核ヒルベルト空間には、(3)が成り立つような特徴写像が無限にある。

例えば、簡単なものでは$F=H$、任意の$x\in X$に対して$\varphi (x)=K_{x}$とすれば良い。このようにすれば、再生性から(3)が成り立つ。他に典型的な特徴写像の例としては、前の章の積分作用素に関連したもので、$F=\ell ^{2}$、$\varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}$とするものもある。

核と特徴写像の間のこのような関係から、正定値関数($H$の内積としての再生核)の新しい理解の仕方が得られる。更に、各特徴写像から、正定値関数の定義を通してRKHSを自然に定義できる。

最後に、特徴写像から、RKHSの新しい観点を明らかにするような関数空間を構築できる。以下の線形空間を考える。

$H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

$H_{\psi }$上のノルムを以下のように定義できる。

$\|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

$H_{\varphi }$は、核が$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}$で定義されたRKHSとなる。この表現では、RKHSの要素は特徴空間の要素同士の内積であり、したがってRKHSの世周防は超空間として見ることができる。RKHSのこの見方は、機械学習でのカーネル法と関係がある。

性質

RKHSの有用な性質として以下のようなものがある。

• $(X_{i})_{i=1}^{p}$を集合の列とし、$(K_{i})_{i=1}^{p}$ をそれぞれ$(X_{i})_{i=1}^{p}$上の正定値関数とする。すると、

  $K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})$

  は$X=X_{1}\times \dots \times X_{p}$上の核である。

• $X_{0}\subset X$とすると、$K$の定義域を$X_{0}\times X_{0}$に制限したものもまた再生核となる。
• 任意の$x\in X$について$K(x,x)=1$となるように正規化した$K$を考える。 $X$上の擬距離空間を以下のように定義する。

  $d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.$

  コーシー＝シュワルツの不等式より、

  $K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.$

  このこの不等式から、$K$は入力間の類似性測度と見ることができる。$x,y\in X$が似ていれば$K(x,y)$は1に近くなり、$x,y\in X$が似ていなければ、$K(x,y)$は0に近くなる。

• $\{K_{x}\mid x\in X\}$によって生成される空間の閉包は$H$と一致する。

一般的な例

双線形核

$K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}$

であるようなRKHSである。

この核に対応するRKHS $H$は、$\|f\|_{H}^{2}=\|\beta \|^{2}$を満たす$\beta$で$f(x)=\langle x,\beta \rangle$と表される関数で構成された双対空間である。

多項式核

$K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N}$

動径基底函数核

他の一般的な核として、$K(x,y)=K(\|x-y\|)$を満たすものがある。例えば以下がある。

• ガウシアン(自乗指数)核:

  $K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0$

• ラプラシアン核:

  $K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0$

  この核で定義されたRKHS $H$にある関数$f$の自乗ノルムは以下の通りである。

  $\|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.$

ベルグマン核

次にベルグマン核の例を説明する。$X$を有限集合とし、$X$上の全ての複素数値関数から構成される空間を$H$とする。すると、$H$の要素は複素数列と解釈することができる。内積を複素ベクトルとしての内積で定義すると、$K_{x}$は$x$で1となり他で0となるような関数となる。つまり

$K(x,y)=\langle x,y\rangle$

となるから、$K(x,y)$は単位行列と考えることができる。この場合、$H$は$\mathbb {C} ^{n}$と同型である。

$X=\mathbb {D}$ ($\mathbb {D}$は単位円板)の場合はより複雑である。ベルグマン空間 $H^{2}(\mathbb {D} )$ は、$\mathbb {D}$上の二乗可積分な正則関数の空間である。$H^{2}(\mathbb {D} )$の再生核は

$K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}$

であることが示せる。最後に、$L^{2}(\mathbb {R} )$の要素であって帯域幅が$2a$であるような帯域制限関数の空間は、再生核が

$K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}$

ベクトル値関数への拡張

この章では、RKHSの定義をベクトル値関数空間に拡張する。この拡張は、マルチタスク学習や多様体正則化で特に重要である。ベクトル値関数空間となって生じる主な違いは、再生核$\Gamma$が、$X$の任意の要素$x,y$に対して半正定値行列であるような対称関数であることである。より厳密には、ベクトル値RKHS(vvRKHS)は、任意の$c\in \mathbb {R} ^{T}$と$x\in X$について

$\Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X$

と

$\langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.$

となるような関数$f:X\rightarrow \mathbb {R} ^{T}$のヒルベルト空間と定義される。この2つ目の性質がスカラー値の場合の再生性に対応している。この定義でも、スカラー値RKHSで見ていたような積分作用素、有界評価関数、特徴空間との関係が成り立つ。 vvRKHSの同値な定義として有界な評価汎関数のあるベクトル値ヒルベルト空間をとり、Rieszの表現定理から再生核の唯一存在性を示すことができる。Mercerの定理もベクトル値に拡張することができ、したがってvvRKHSの特徴写像による見方も得られる。最後に、$\{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}$の張る空間の閉包が$H$と一致することも示せ、ここでスカラー値の場合と似た性質が得られる。

要素ごとに見ることでvvRKHSを直感的に理解できる。$\Lambda =\{1,\dots ,T\}$とする。空間$X\times \Lambda$と対応する再生核

$\gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .$

(4)

を考える。上に述べたとおり、この再生核に対応するRKHSは$\{\gamma _{(x,t)}:x\in X,t\in \Lambda \}$が張る空間の閉包で与えられる。ただし、任意のペア$(x,t),(y,s)\in X\times \Lambda$に対して$\gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))$である。

スカラー値RKHSとの関係は、行列値核が(4)の核と以下の式で関連していることから分かる。

$\Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).$

更に、(4)の形の核は上の式で行列値核を定義する。では、写像$D:H_{\Gamma }\to H_{\gamma }$を

$(Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}$

と定義する。ただし、$e_{t}$は$\mathbb {R} ^{T}$の直交基底の$t$番目の要素である。$D$は全単射であり、$H_{\Gamma }$と$H_{\gamma }$の間の等長写像となる。

vvRKHSのこのような見方はマルチタスク学習で有用ではあるものの、この等長変換はベクトル値の場合の研究をスカラー値の場合の研究に帰結させるものではない。実際、この等長変換によってもともとの核の性質がたびたび無くなり、スカラー値核や入力空間が複雑になりすぎる。

行列値再生核の中でも重要な種類に、スカラー値核と$T$次元対称半正定値行列の積で表されるような、分離可能核と呼ばれるものがある。これまでの議論の観点から表せば、分離可能核は$X$の任意の要素$x,y$と$T$の任意の要素$s,t$に対して以下の式で表される。

$\gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)$

スカラー値核が入力間の依存関係を表現していたのに対して、行列値核は入力と出力の両方の依存関係を表現していることが分かる。

最後に、このような理論は更に関数空間の関数空間に拡張できるが、このような空間での核を得るのはより難しい。

RKHSとReLU関数の関係

ReLU関数は通常$f(x)=\max\{0,x\}$で定義され、活性化関数としてReLU関数が使われているニューラルネットワークの構造の中枢である。 再生核ヒルベルト空間を使ってReLUに似た非線形関数を構築することができる。以下、実際に構築の仕方を紹介し、そこから ReLUが活性化関数に使われているニューラルネットワークの表現力を導出する過程を説明する。

ヒルベルト空間として、$f(0)=0$であって導関数が自乗可積分な関数の空間${\mathcal {H}}=L_{2}^{1}(0)[0,\infty )$を考える。内積は以下のように定義する。

$\langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx$

再生核を構成するためには密な部分空間を考えれば十分であるから、$f\in C^{1}[0,\infty )$かつ$f(0)=0$とする(?)。微分積分学の基本公式から

$f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle$

となる。ただし

$G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}$

$K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)$

更に$X\times X=[0,\infty )\times [0,\infty )$上のmin関数はReLU関数で以下のように表現できる。

$\min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x)$

この式を使って、リプリゼンター定理をこのRKHSにを適用すると、ニューラルネットワークにおいてReLU活性化関数を使うのが最適だと証明できる。

関連項目

• 正定値核
• マーサーの定理
• カーネル法
• 分布の核埋め込み
• リプリゼンター定理

参考文献

• Alvarez, Mauricio, Rosasco, Lorenzo and Lawrence, Neil, “Kernels for Vector-Valued Functions: a Review,” https://arxiv.org/abs/1106.6251, June 2011.
• Aronszajn, Nachman (1950). “Theory of Reproducing Kernels”. Transactions of the American Mathematical Society 68 (3): 337–404. doi:10.1090/S0002-9947-1950-0051437-7. JSTOR 1990404. MR51437. 
• Berlinet, Alain and Thomas, Christine. Reproducing kernel Hilbert spaces in Probability and Statistics, Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Smale, Steve (2002). “On the Mathematical Foundations of Learning”. Bulletin of the American Mathematical Society 39 (1): 1–49. doi:10.1090/S0273-0979-01-00923-5. MR1864085. 
• De Vito, Ernest, Umanita, Veronica, and Villa, Silvia. "An extension of Mercer theorem to vector-valued measurable kernels," arXiv:1110.4017, June 2013.
• Durrett, Greg. 9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, February 2010.
• Kimeldorf, George; Wahba, Grace (1971). “Some results on Tchebycheffian Spline Functions”. Journal of Mathematical Analysis and Applications 33 (1): 82–95. doi:10.1016/0022-247X(71)90184-3. MR290013. http://www.stat.wisc.edu/~wahba/ftp1/oldie/kw71.pdf. 
• Okutmustur, Baver. “Reproducing Kernel Hilbert Spaces,” M.S. dissertation, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf, August 2005.
• Paulsen, Vern. “An introduction to the theory of reproducing kernel Hilbert spaces,” http://www.math.uh.edu/~vern/rkhs.pdf.
• Steinwart, Ingo; Scovel, Clint (2012). “Mercer's theorem on general domains: On the interaction between measures, kernels, and RKHSs”. Constr. Approx. 35 (3): 363–417. doi:10.1007/s00365-012-9153-3. MR2914365. 
• Rosasco, Lorenzo and Poggio, Thomas. "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuscript, Dec. 2014.
• Wahba, Grace, Spline Models for Observational Data, SIAM, 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). “Refinement of Operator-valued Reproducing Kernels”. Journal of Machine Learning Research 13: 91–136. http://www.jmlr.org/papers/volume13/zhang12a/zhang12a.pdf.