Descente de gradient

Motivation

Trouver les valeurs de paramètres minimisant un coût.

Analyse

Descente de gradient vers un coût J minimal local (à droite) ou global (à gauche)
Descente de gradient vers un coût J minimal local ou global

L'algorithme de descente de gradient consiste, si l'on considère :

à changer (simultanément) les `θ_n` en fonction de la pente (dérivée) induite par le coût :

Itérer jusqu'à convergence {
  `θ_j:=θ_j−α∂/(∂θ_j) J(θ)`
}

où `α` est le taux d'apprentissage (learning rate) à régler, déterminant la taille des "sauts" lors de la descente.

Si l'on dispose de capacités de calcul matriciel rapides, on peut effectuer l'opération équivalente de manière vectorisée.

Notes

Voir