Croisements excessifs ?
Avant de regarder la vidéo ou de lire la documentation, veuillez réaliser cet exercice qui traite de l'utilisation excessive des croisements de caractéristiques.
Tâche 1:exécutez le modèle tel quel, avec toutes les caractéristiques
de produits croisés fournies. Y a-t-il des surprises quant à la façon dont le modèle ajuste les données ?
Quelle est la nature du problème ?
Tâche 2:essayez de supprimer différentes caractéristiques de produits croisés pour améliorer les performances (même dans une faible mesure). Pourquoi la suppression de caractéristiques
améliorerait-elle les performances ?
(Les réponses s'affichent juste en dessous de l'exercice.)
Cliquez sur l'icône Plus pour obtenir une réponse à la tâche 1.
Étonnamment, la frontière de décision du modèle semble un peu bizarre. En particulier, une région en haut à gauche tend vers le bleu, même si les données ne le confirment pas.
Regardez l'épaisseur des cinq traits reliant les entrées à la sortie.
Ces traits représentent la pondération relative de chaque caractéristique.
Les lignes issues de X1 et de X2 sont beaucoup plus épaisses que celles issues des croisements de caractéristiques. Les croisements de caractéristiques contribuent donc beaucoup moins au modèle que les caractéristiques normales (non croisées).
Cliquez sur l'icône Plus pour obtenir une réponse à la tâche 2.
La suppression de tous les croisements de caractéristiques permet d'obtenir un modèle plus raisonnable (il n'y a plus de
limite incurvée suggérant un surapprentissage) et fait converger la perte d'évaluation.
Au bout de 1 000 itérations, la perte de test devrait être légèrement inférieure à celle enregistrée lors des croisements de caractéristiques (bien que vos résultats puissent varier légèrement en fonction de l'ensemble de données).
L'ensemble de données de cet exercice contient essentiellement des données linéaires et du bruit.
Si nous utilisons un modèle trop compliqué, par exemple un modèle comportant trop de croisements, nous lui donnons la possibilité de s'adapter au bruit des données d'entraînement, souvent au détriment des performances du modèle sur les données de test.
