Régularisation à des fins de simplicité: exercice Playground (régularisation L2)

Durée estimée:10 minutes

Examen de la régularisation L₂

Cet exercice contient un petit ensemble de données d'entraînement bruyant. Dans ce genre de situation, le surapprentissage est un réel problème. Heureusement, la régularisation peut être utile.

Cet exercice comprend trois tâches connexes. Pour comparer plus facilement les trois tâches, exécutez chacune d'elles dans un onglet distinct.

• Tâche 1:exécutez le modèle fourni pendant au moins 500 époques. Remarques :
  • Perte de test.
  • Delta entre la perte d'évaluation et la perte d'entraînement.
  • Pondérations apprises des caractéristiques et des croisements de caractéristiques L'épaisseur relative de chaque ligne allant de FEATURES à OUTPUT représente la pondération apprise pour cette caractéristique ou ce croisement de caractéristiques. Pour obtenir les valeurs de pondération exactes, pointez sur chaque ligne.)
• Tâche 2 : (nous vous conseillons d'effectuer cette tâche dans un onglet distinct.) Augmentez le taux de régularisation de 0 à 0,3. Exécutez ensuite le modèle pendant au moins 500 époques et trouvez les réponses aux questions suivantes :
  • En quoi la perte de test de la tâche 2 diffère-t-elle de la perte de test de la tâche 1 ?
  • En quoi le delta entre la perte d'évaluation et la perte d'entraînement de la tâche 2 diffère-t-il de celui de la tâche 1 ?
  • En quoi les pondérations apprises de chaque caractéristique et croisement de caractéristiques diffèrent-elles de la tâche 2 à la tâche 1 ?
  • Que disent vos résultats de la complexité du modèle ?
• Tâche 3:testez différents taux de régularisation pour essayer de trouver la valeur optimale.

(Les réponses s'affichent juste en dessous de l'exercice.)

---

---

Cliquez sur l'icône Plus pour afficher les réponses.

L'augmentation du taux de régularisation de 0 à 0,3 a les effets suivants:

• La perte de test baisse considérablement.

  Remarque: La perte d'évaluation diminue, mais la perte d'entraînement augmente. Ce comportement est normal, car vous avez ajouté un autre terme à la fonction de perte pour pénaliser la complexité. En fin de compte, seule la perte d'évaluation importe, car il s'agit de la véritable mesure de la capacité du modèle à faire de bonnes prédictions à partir de nouvelles données.

• Le delta entre la perte d'évaluation et la perte d'entraînement diminue considérablement.
• Les pondérations des caractéristiques et de certains croisements de caractéristiques ont des valeurs absolues inférieures, ce qui implique une diminution de la complexité du modèle.

Étant donné le caractère aléatoire de l'ensemble de données, il est impossible de prédire le taux de régularisation qui a obtenu les meilleurs résultats. Dans notre cas, un taux de régularisation de 0,3 ou 1 produit généralement la perte d'évaluation la plus faible.