Support Vector Machine : machine à vecteurs de support ou Séparateur à Vaste Marge (large margin classifier).
Motivation
Classification rapide et robuste.
Analyse
La régression logistique peut classer correctement des données mais parfois de manière trop précise, non naturelle. En ajoutant une contrainte de marge autour de la ligne de séparation, on obtient un résultat plus naturel.
Conception
L'algorithme de SVM simplifie la fonction de coût de régression logistique pour permettre un calcul plus rapide :
-
Les courbes sigmoïdes sont remplacées par des fonction linéaires`y` `"cost"_y(h_θ(x),y)` Graphique `z` 1 On veut que `h_θ(x)~~1` et donc que `θ^Tx≫0`. Cependant cette fonction garantit une "marge" de sécurité supplémentaire en demandant `θ^Tx>=1` 0 On veut que `h_θ(x)~~0` et donc que `θ^Tx≪0`. Cependant cette fonction garantit une "marge" de sécurité supplémentaire en demandant `θ^Tx<=-1` - le signe `-`, jusqu'ici factorisé, est ré-intégré à l'intérieur des termes.
- La division par `m` (nombre de lignes de données) est supprimée (car cela n'affecte pas le résultat de la minimisation).
- le taux de régularisation λ en 2ᵉ terme est remplacé par un taux inverse `C = 1/λ` en 1er terme
De sorte que la fonction de coût à minimiser devient :
`z(x) = θ^T x`
`J(Θ) = C sum_(i=1)^m [y^((i)) "cost"_1(z(x^((i))))+(1−y^((i)))"cost"_0(z(x^((i))))] + 1/2 sum_(j=1)^n θ_j^2`
Dans le cas d'un besoin de distinction non linéaire, on utilisera des kernels.