Réduire la perte: optimiser le taux d'apprentissage

Durée estimée : 15 minutes

Exercice n° 1

Définissez un taux d'apprentissage de 0,03 sur le curseur. Appuyez de manière prolongée sur le bouton ÉTAPE jusqu'à ce que l'algorithme de descente de gradient atteigne le point minimal de la courbe de fonction de perte. Combien de pas avez-vous fait ?

Solution

La descente de gradient atteint le minimum de la courbe en 40 pas.

Exercice 2

Pouvez-vous atteindre le minimum plus rapidement avec un taux d'apprentissage plus élevé ? Définissez un taux d'apprentissage de 0, 1 et continuez à appuyer sur STEP jusqu'à ce que la descente de gradient atteigne le minimum. Combien de pas avez-vous fait cette fois ?

Solution

La descente de gradient atteint le minimum de la courbe en 11 pas.

Exercice 3

Que diriez-vous d'un taux d'apprentissage encore plus élevé ? Réinitialisez le graphique, définissez un taux d'apprentissage de 1 et essayez d'atteindre le minimum de la courbe de fonction de perte. Que s'est-il passé ?

Solution

La descente de gradient n'atteint jamais le minimum. Par conséquent, la taille des pas augmente progressivement. Chaque pas saute d'avant en arrière dans le bol, grimpant la courbe au lieu de descendre vers le bas.

Défi facultatif

Pouvez-vous trouver le taux d'apprentissage idéal pour cette courbe, où la descente de gradient atteint le point minimal avec le moins de pas possible ? Quel est le nombre minimal d'étapes requises pour atteindre le minimum ?

Solution

Le taux d'apprentissage de ces données est compris entre 0,2 et 0,3, ce qui pourrait atteindre le minimum en trois ou quatre étapes.

REMARQUE:En pratique, il n'est pas indispensable de déterminer un taux d'apprentissage "parfait" (ou quasi parfait) pour que l'entraînement de modèle se déroule correctement. L'objectif est de trouver un taux d'apprentissage suffisamment élevé pour que la descente de gradient converge efficacement, mais pas suffisamment grande pour ne jamais converger.