Surapprentissage: complexité du modèle

Le module précédent a présenté le modèle suivant, qui a mal catégorisé de nombreux arbres dans l'ensemble de test:

Figure 16. Même image que la figure 13. Il s'agit d'une forme complexe qui catégorise de manière incorrecte de nombreux arbres.
Figure 16 : Le modèle complexe qui ne fonctionne pas correctement de l'unité précédente.

Le modèle précédent contient de nombreuses formes complexes. Un modèle plus simple serait-il plus adapté aux nouvelles données ? Supposons que vous remplaciez le modèle complexe par un modèle ridiculement simple : une ligne droite.

Figure 17. Modèle de ligne droite qui permet de séparer parfaitement les arbres malades des arbres sains.
Figure 17 : Un modèle beaucoup plus simple.

Le modèle simple se généralise mieux que le modèle complexe avec de nouvelles données. Autrement dit, le modèle simple a généré de meilleures prédictions sur l'ensemble de test que le modèle complexe.

La simplicité l'emporte depuis longtemps sur la complexité. En fait, la préférence pour la simplicité remonte à la Grèce antique. Des siècles plus tard, un moine du XIVe siècle nommé Guillaume d'Ockham a formalisé la préférence pour la simplicité dans une philosophie connue sous le nom de rasoir d'Ockham. Cette philosophie reste un principe sous-jacent essentiel de nombreuses sciences, y compris le machine learning.

Exercices: Testez vos connaissances

Vous développez une équation de physique. Parmi les formules suivantes, laquelle se rapproche le plus du rasoir d'Ockham ?
Formule avec trois variables
Formule avec douze variables.
Vous travaillez sur un tout nouveau projet de machine learning et vous êtes sur le point de sélectionner vos premières fonctionnalités. Combien de fonctionnalités devez-vous choisir ?
Choisissez une à trois caractéristiques qui semblent avoir une forte capacité prédictive.
Choisissez autant de caractéristiques que possible afin de pouvoir commencer à observer celles qui ont le pouvoir prédictif le plus fort.
Choisissez quatre à six caractéristiques qui semblent avoir une forte capacité prédictive.

Régularisation

Les modèles de machine learning doivent répondre simultanément à deux objectifs contradictoires:

  • Ajustez bien les données.
  • Ajustez les données aussi simplement que possible.

Une approche permettant de simplifier un modèle consiste à pénaliser les modèles complexes, c'est-à-dire à forcer le modèle à devenir plus simple pendant l'entraînement. La pénalisation des modèles complexes est une forme de régularisation.

Perte et complexité

Jusqu'à présent, ce cours a suggéré que le seul objectif de l'entraînement était de minimiser la perte, c'est-à-dire:

minimize(loss)

Comme vous l'avez vu, les modèles axés uniquement sur la minimisation des pertes ont tendance à surajuster. Un meilleur algorithme d'optimisation de l'entraînement minimise une combinaison de perte et de complexité:

minimize(loss + complexity)

Malheureusement, la perte et la complexité sont généralement inversement proportionnelles. À mesure que la complexité augmente, la perte diminue. À mesure que la complexité diminue, la perte augmente. Vous devez trouver un juste milieu raisonnable où le modèle effectue de bonnes prédictions à la fois sur les données d'entraînement et sur les données réelles. Autrement dit, votre modèle doit trouver un compromis raisonnable entre la perte et la complexité.

Qu'est-ce que la complexité ?

Vous avez déjà vu plusieurs façons de quantifier les pertes. Comment quantifier la complexité ? Commencez votre exploration avec l'exercice suivant:

Exercice: Vérifier votre intuition

Jusqu'à présent, nous avons été assez vagues sur la définition de la complexité. Quelles idées, selon vous, seraient des métriques de complexité raisonnables ?
La complexité est fonction du carré des pondérations du modèle.
La complexité est fonction des pondérations du modèle.
La complexité est une fonction des biais de toutes les caractéristiques du modèle.