Régression linéaire: exercice de descente de gradient

Dans cet exercice, vous reviendrez sur le graphique des données d'économie de carburant Exercice sur les paramètres. Mais cette fois, vous allez utiliser la descente de gradient pour apprendre les valeurs optimales de pondération et de biais d'un modèle qui minimise la perte.

Effectuez les trois tâches situées sous le graphique.

Tâche 1:ajustez le curseur Taux d'apprentissage situé sous le graphique un taux d'apprentissage de 0,03. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente de gradient.

Combien de temps met l'entraînement du modèle pour converger (atteindre un seuil minimal stable valeur de perte) ? Quelle est la valeur de la MSE lors de la convergence des modèles ? Quel est le poids et le biais génèrent-elles cette valeur ?

Cliquez sur l'icône Plus pour voir notre solution.

Lorsque nous avons défini un taux d'apprentissage de 0,03, le modèle a convergé après environ 30 secondes, pour obtenir une MSE d'un peu moins de 3 avec une pondération des valeurs de biais de -2,08 et 23,098, respectivement. Cela indique que nous avons a choisi une bonne valeur de taux d'apprentissage.

Remarque:Les points de données du graphique varient légèrement. chaque fois que vous chargez la page. Les solutions proposées ici peuvent donc différentes de la nôtre.

Tâche 2:cliquez sur le bouton Reset (Réinitialiser) sous le graphique pour réinitialiser le poids et Valeurs de biais dans le graphique. Réglez le curseur Taux d'apprentissage sur une valeur de 1.10e^-5. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente de gradient.

Que remarquez-vous concernant le temps nécessaire à la convergence de l'entraînement du modèle ? cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution

Après quelques minutes, l'entraînement du modèle n'a toujours pas convergé. Petite les mises à jour des valeurs de pondération et de biais continuent d'entraîner une légère baisse les valeurs de perte. Cela suggère que choisir un taux d'apprentissage plus élevé activer la descente de gradient pour trouver les valeurs optimales de pondération et de biais ; rapidement.

Tâche 3:cliquez sur le bouton Reset (Réinitialiser) sous le graphique pour réinitialiser le poids. et les valeurs de biais dans le graphique. Réglez le curseur Taux d'apprentissage sur 1. Cliquez sur le bouton Start (Démarrer) pour exécuter la descente de gradient.

Qu'advient-il des valeurs de perte lors de la descente de gradient ? Combien de temps la modélisation d'entraînement pour converger cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution

Les valeurs de perte fluctuent énormément lorsque les valeurs sont élevées (MSE supérieure à 300). Cela indique que le taux d'apprentissage est trop élevé et que l'entraînement du modèle n'atteindra jamais la convergence.