Réduction de la perte: exercice dans Playground

Taux d'apprentissage et convergence

Cet exercice Playground est le premier d'une série qui en compte plusieurs. Playground est un programme développé spécialement pour ce cours afin d'enseigner les principes du machine learning. Chaque exercice Playground de ce cours inclut une instance Playground intégrée avec des préréglages.

Chaque exercice Playground génère un ensemble de données. L'étiquette de ce jeu de données a deux valeurs possibles. Vous pouvez considérer ces deux valeurs comme spam ou non-spam, ou encore arbres sains ou malades. L'objectif de la plupart des exercices est de modifier différents hyperparamètres pour créer un modèle qui classe (sépare ou distingue) correctement une valeur d'étiquette par rapport à l'autre. Notez que la plupart des ensembles de données contiennent une certaine quantité de bruit qui empêche de classer correctement chaque exemple.

L'interface de cet exercice comporte trois boutons:

Icon Nom Description
Bouton "Réinitialiser". Réinitialiser Remet les itérations à zéro. Réinitialise toutes les pondérations que le modèle a déjà apprises.
Bouton "Pas" Step Avancer d'une itération. À chaque itération, le modèle change, parfois subtilement et parfois considérablement.
Bouton "Regénérer" Regénérer Génère un nouvel ensemble de données. Ne réinitialise pas les itérations.

Dans ce premier exercice Playground, vous allez tester le taux d'apprentissage en effectuant deux tâches.

Tâche 1:notez le menu Taux d'apprentissage en haut à droite du Playground. Le taux d'apprentissage donné (3) est très élevé. Observez comment un taux d'apprentissage élevé affecte votre modèle en cliquant sur le bouton "Pas" 10 ou 20 fois. Après chaque itération, notez que la visualisation du modèle change considérablement. Vous pourriez même constater une certaine instabilité après que le modèle semble avoir convergé. Notez également les lignes allant de x1 à x2 jusqu'à la visualisation du modèle. La pondération de ces lignes indique celle de ces caractéristiques dans le modèle. Autrement dit, une ligne épaisse indique une pondération élevée.

Tâche 2:procédez comme suit:

  1. Appuyez sur le bouton Réinitialiser.
  2. Réduisez le taux d'apprentissage.
  3. Appuyez plusieurs fois sur le bouton Pas.

Quel a été l'impact de la diminution du taux d'apprentissage sur la convergence ? Examinez à la fois le nombre d'étapes nécessaires pour que le modèle converge, ainsi que la fluidité et la régularité de la convergence du modèle. Expérimentez avec des valeurs encore plus faibles pour le taux d'apprentissage. Trouvez-vous un taux d'apprentissage trop lent pour être utile ? (Une discussion se trouve juste en dessous de l'exercice.)