Gourt Home::Gourt :: Machine à vecteurs de support
Une machine à vecteurs de support (en anglais Support Vector Machine ou SVM) est une technique de discrimination. Elle consiste à séparer deux (ou plus) ensembles de points par un hyperplan. Selon les cas et la configuration des points, la performance de la machine à vecteurs de support peut être supérieure à celle d'un réseau de neurones ou d'un modèle de mixture gaussienne.
Idée originale et principe
L'idée originale des SVM a été publiée par Vladimir Vapnik. Elle est basée sur l'utilisation de fonction dites noyau (kernel) qui permettent une séparation optimale (sans problème d'optimum local) des points du plan en différentes catégories (le plus souvent deux, à savoir les "positifs" et les "négatifs").
La méthode fait appel à un jeu de données d'apprentissage, qui permet d'établir un hyperplan séparant « au mieux » les points.
Séparation optimale
Prenons un exemple pour bien comprendre le concept. Imaginons un plan (espace à deux dimensions) dans lequel sont répartis deux groupes de points. Ces points sont associés à un groupe : les point (+) pour y > 0 et les points (-) pour y < 0. On peut trouver un séparateur linéaire évident dans cet exemple : il s'agit évidemment de l'axe des abscisses. Le problème est dit linéairement séparable.
Pour des problèmes plus compliqués, la caractérisation d'un séparateur linéaire peut être très compliquée et tout à fait non optimale. Imaginons par exemple un plan dans lequel les points (+) sont regroupés en un cercle, avec des points (-) tout autour : aucun séparateur linéaire en deux dimensions ne pourra correctement séparer les groupes : le problème n'est pas linéairement séparable.
Concept d'hyperplan
Afin de remédier au problème de l'absence de séparateur linéaire, l'idée des SVM est de reconsidérer le problème dans un espace de dimension supérieure (dans notre exemple, dans un espace de dimension supérieure à 2). Dans ce nouvel espace, il existe un séparateur linéaire qui permet de classer au mieux nos points dans les deux groupes qui conviennent. On pourra ensuite projeter le séparateur linéaire dans l'espace d'origine pour visualiser le résultat de la classification.
Le séparateur linéaire obtenu peut etre un hyperplan, c'est à dire la généralisation à n dimensions d'une ligne (1D) séparant un espace 2D, ou d'un plan (2D) séparant un espace 3D.
Le changement d'espace se fait au moyen d'une fonction répondant au critère de Mercer. Ce critère permet un changement 'dans les deux sens' ce qui permet à partir de l'expression de l'hyperplan dans l'espace complexe de classer les éléments dans l'espace de description initial.
Voir aussi
Références
- Vapnik, V. Statistical Learning Theory. Wiley-Interscience, New York, (1998)
- Introduction aux SVM
- Un mini-cours sur les machines à Noyaux
Informatique théorique | Intelligence artificielle
Support-Vector-Maschine | Support vector machine | Tukivektorikone | Macchine a Supporto Vettoriale | サポートベクターマシン | 서포트 벡터 머신 | Stödvektormaskin
"Machine à vecteurs de support"