Régression linéaire: exercice de descente de gradient

Dans cet exercice, vous allez revenir sur le graphique des données d'efficacité énergétique de l'exercice sur les paramètres. Mais cette fois, vous allez utiliser la descente du gradient pour apprendre les valeurs optimales de poids et de biais pour un modèle linéaire qui minimise les pertes.

Réalisez les trois tâches ci-dessous le graphique.

Cette visualisation interactive peut produire des visuels clignotants lorsqu'elle est définie sur un taux d'apprentissage élevé, ce qui peut affecter les personnes photosensibles.

Tâche 1:Ajustez le curseur Learning Rate (Taux d'apprentissage) sous le graphique pour définir un taux d'apprentissage de 0,03. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente du gradient.

Combien de temps faut-il pour que l'entraînement du modèle converge (atteigne une valeur de perte minimale stable) ? Quelle est la valeur de MSE à la convergence du modèle ? Quelles sont les pondérations et les biais qui génèrent cette valeur ?

Cliquez sur l'icône Plus pour afficher notre solution.

Lorsque nous avons défini un taux d'apprentissage de 0,03, le modèle a convergé au bout d'environ 30 secondes, obtenant une MSE d'un peu moins de 3 avec des valeurs de poids et de biais de –2,08 et 23,098, respectivement. Cela indique que nous avons choisi une bonne valeur de taux d'apprentissage.

Remarque:Les points de données du graphique varient légèrement à chaque fois que vous chargez la page. Vos solutions peuvent donc être légèrement différentes des nôtres.

Tâche n° 2:cliquez sur le bouton Reset (Réinitialiser) sous le graphique pour réinitialiser les valeurs de pondération et de biais. Ajustez le curseur Learning Rate (Taux d'apprentissage) sur une valeur d'environ 1,10e^-5. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente du gradient.

Que remarquez-vous concernant le temps nécessaire à la convergence de l'entraînement du modèle cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution.

Après plusieurs minutes, l'entraînement du modèle n'a toujours pas convergé. De petites mises à jour des valeurs de pondération et de biais continuent d'entraîner des valeurs de perte légèrement inférieures. Cela suggère que choisir un taux d'apprentissage plus élevé permettrait à la descente du gradient de trouver plus rapidement les valeurs de poids et de biais optimales.

Tâche 3:cliquez sur le bouton Réinitialiser sous le graphique pour réinitialiser les valeurs de poids et de biais dans le graphique. Réglez le curseur Taux d'apprentissage sur 1. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente du gradient.

Qu'advient-il des valeurs de perte lors de la descente de gradient ? Combien de temps faudra-t-il pour que l'entraînement du modèle converge cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution.

Les valeurs de perte fluctuent de manière importante à des valeurs élevées (MSE supérieur à 300). Cela indique que le taux d'apprentissage est trop élevé et que l'entraînement du modèle n'atteindra jamais la convergence.