サポートベクターマシン

サポートベクターマシン(Support vector machine; 以降 SVM と表記)は、教師あり学習を用いる識別手法の一つである。パターン認識や回帰分析へ適用できる。

SVMではデータを二つの種類に分離するために、各データ点との距離が最大となる分離平面(超平面)を求めるマージン最大化という考え方を用いる。

最も簡単な場合である、与えられたデータを線形に分離することが可能である (例えば、3次元のデータを2次元平面で完全に区切ることができる)場合を考えよう。

このとき、SVMは与えられた学習用サンプルを、もっとも大胆に区切る境目を学習する。学習の結果得られた超平面は、境界に最も近いサンプルとの距離(マージン)が最大となるものとなる。

学習過程はラグランジュ乗数法を用いることにより、最適化問題の一種である凸二次計画問題で定式化される。ただし、データ次元数が増えると急速に計算量が増大するため、分割統治法の考え方を用いた手法なども提案されている。

サポートベクターマシンは、本来は線形分離不可能な問題には適用できない。しかし、再生核ヒルベルト空間の理論を取り入れたカーネル関数を用いてパターンを有限もしくは無限次元の特徴空間へ写像し、特徴空間上で線形分離を行う手法が 1992年に Vladimir Vapnik らによって提案された。

これにより、非線形分類問題にも優れて性能を発揮することがわかり、近年特に注目を集めている。

なお、カーネル関数を取り入れた一連の手法では、どのような写像が行われるか知らずに計算できることから、カーネルトリック(Kernel Trick)と呼ばれている。

Gourt Home::Gourt :: サポートベクターマシン