Ensembles de données: diviser l'ensemble de données d'origine

Tous les bons projets d'ingénierie logicielle consacrent une énergie considérable aux tests de leurs applications. De même, nous vous recommandons vivement de tester votre modèle ML pour déterminer l'exactitude de ses prédictions.

Ensembles d'entraînement, de validation et de test

Vous devez tester un modèle sur un ensemble d'exemples différent de celui utilisé pour l'entraîner. Comme vous le découvrirez un peu plus tard, les tests sur différents exemples sont une preuve plus solide de l'adéquation de votre modèle que les tests sur le même ensemble d'exemples. D'où tenez-vous ces différents exemples ? Traditionnellement, en machine learning, vous obtenez ces différents exemples en divisant l'ensemble de données d'origine. Vous pouvez donc supposer que vous devez diviser l'ensemble de données d'origine en deux sous-ensembles:

• Ensemble d'entraînement sur lequel le modèle s'entraîne.
• Un ensemble de test pour évaluer le modèle entraîné.

Figure 8 Répartition non optimale.

 

Exercice: Vérifier votre intuition

Supposons que vous vous entraîniez sur l'ensemble d'entraînement et que vous évaluiez sur l'ensemble de test sur plusieurs séries. À chaque tour, vous utilisez les résultats de l'ensemble de test pour déterminer comment mettre à jour les hyperparamètres et l'ensemble de fonctionnalités. Voyez-vous un problème avec cette approche ? Choisissez une seule réponse.

En suivant cette procédure de nombreuses fois, le modèle risquerait de finir par se conformer implicitement aux particularités de l'ensemble de test.

Oui. Plus vous utilisez le même ensemble de test, plus le modèle est susceptible de s'adapter étroitement à l'ensemble de test. Comme un enseignant qui "enseigne pour le test", le modèle s'adapte involontairement à l'ensemble de test, ce qui peut rendre plus difficile l'adaptation du modèle aux données réelles.

Cette approche est acceptable. Après tout, vous entraînez le modèle avec l'ensemble d'entraînement et l'évaluez avec un ensemble de test distinct.

À vrai dire, cette approche présente un petit problème. Réfléchissez à ce qui pourrait progressivement mal tourner.

Cette approche est inefficace en termes de calcul. Ne modifiez pas les hyperparamètres ni les ensembles de fonctionnalités après chaque série de tests.

Les tests fréquents sont coûteux, mais essentiels. Toutefois, les tests fréquents sont beaucoup moins coûteux que la formation supplémentaire. L'optimisation des hyperparamètres et de l'ensemble de fonctionnalités peut considérablement améliorer la qualité du modèle. Prévoyez donc toujours du temps et des ressources de calcul pour travailler sur ces éléments.

Diviser l'ensemble de données en deux ensembles est une bonne idée, mais une meilleure approche consiste à le diviser en trois sous-ensembles. En plus de l'ensemble d'entraînement et de l'ensemble de test, le troisième sous-ensemble est le suivant:

• Un ensemble de validation effectue les tests initiaux sur le modèle pendant son entraînement.

Figure 9 C'est beaucoup mieux.

Utilisez l'ensemble de validation pour évaluer les résultats de l'ensemble d'entraînement. Une fois que l'utilisation répétée de l'ensemble de validation suggère que votre modèle effectue de bonnes prédictions, utilisez l'ensemble de test pour vérifier votre modèle.

La figure suivante suggère ce workflow. Dans l'image, "Modifier le modèle" signifie ajuster n'importe quel aspect du modèle, qu'il s'agisse de modifier le taux d'apprentissage, d'ajouter ou de supprimer des fonctionnalités, ou de concevoir un tout nouveau modèle à partir de zéro.

Figure 10. Un bon workflow de développement et de test.

Remarque :Lorsque vous transformez une caractéristique dans votre ensemble d'entraînement, vous devez effectuer la même transformation dans l'ensemble de validation, l'ensemble de test et l'ensemble de données réel.

Le workflow illustré à la figure 10 est optimal, mais même avec ce workflow, les ensembles de test et les ensembles de validation perdent de leur efficacité lorsqu'ils sont utilisés de manière récurrente. Autrement dit, plus vous utilisez les mêmes données pour prendre des décisions concernant les paramètres des hyperparamètres ou d'autres améliorations du modèle, moins vous pouvez être sûr que le modèle effectuera de bonnes prédictions sur de nouvelles données. C'est pourquoi il est conseillé de collecter davantage de données afin d'actualiser les ensembles de test et de validation. Recommencer à zéro est un excellent moyen de repartir du bon pied.

Exercice: Vérifier votre intuition

Vous avez mélangé tous les exemples de l'ensemble de données et les avez répartis en ensembles d'entraînement, de validation et de test. Cependant, la valeur de perte de votre ensemble de test est si incroyablement faible que vous soupçonnez une erreur. D'où venait le problème ?

De nombreux exemples de l'ensemble de test sont des doublons d'exemples de l'ensemble d'entraînement.

Oui. Cela peut poser problème dans un ensemble de données contenant de nombreux exemples redondants. Nous vous recommandons vivement de supprimer les exemples en double de l'ensemble de test avant de le tester.

L'entraînement et les tests ne sont pas déterministes. Parfois, par hasard, votre perte de test est incroyablement faible. Exécutez à nouveau le test pour confirmer le résultat.

Bien que la perte varie un peu à chaque exécution, elle ne doit pas varier tellement que vous pensiez avoir gagné la loterie du machine learning.

Par hasard, l'ensemble de test contenait des exemples pour lesquels le modèle a obtenu de bons résultats.

Les exemples ont été bien mélangés, ce qui est extrêmement improbable.

Autres problèmes liés aux ensembles de tests

Comme l'illustre la question précédente, les exemples en double peuvent affecter l'évaluation du modèle. Après avoir divisé un ensemble de données en ensembles d'entraînement, de validation et de test, supprimez tous les exemples de l'ensemble de validation ou de test qui sont des doublons d'exemples de l'ensemble d'entraînement. Le seul test équitable d'un modèle est celui qui porte sur de nouveaux exemples, et non sur des doublons.

Prenons l'exemple d'un modèle qui prédit si un e-mail est du spam, en utilisant la ligne d'objet, le corps de l'e-mail et l'adresse e-mail de l'expéditeur comme caractéristiques. Supposons que vous diviez les données en ensembles d'entraînement et de test, selon un rapport 80-20. À l'issue de l'entraînement, le modèle atteint une précision de 99% pour l'ensemble d'entraînement et l'ensemble de test. Vous vous attendez probablement à une précision plus faible pour l'ensemble de test. Vous examinez donc à nouveau les données et découvrez que de nombreux exemples de l'ensemble de test sont des doublons d'exemples de l'ensemble d'entraînement. Le problème est que vous avez négligé de supprimer les entrées en double pour le même e-mail de spam de votre base de données d'entrée avant de diviser les données. Vous avez effectué par inadvertance l'entraînement sur certaines de vos données de test.

En résumé, un bon ensemble de test ou d'évaluation répond à tous les critères suivants:

• suffisamment important pour générer des résultats de test statistiquement pertinents ;
• Représentatif de l'ensemble de données dans son ensemble. Autrement dit, ne choisissez pas un ensemble de test dont les caractéristiques sont différentes de celles de l'ensemble d'entraînement.
• Représentatif des données réelles que le modèle rencontrera dans le cadre de son objectif commercial.
• Aucun exemple en double dans l'ensemble d'entraînement.

Exercices: Testez vos connaissances

Étant donné un seul ensemble de données avec un nombre fixe d'exemples, laquelle des affirmations suivantes est vraie ?

Chaque exemple utilisé pour tester le modèle est un exemple de moins utilisé pour l'entraîner.

La division des exemples en ensembles d'entraînement, de test et de validation est un jeu à somme nulle. C'est le compromis central.

Le nombre d'exemples dans l'ensemble de test doit être supérieur au nombre d'exemples dans l'ensemble de validation.

En théorie, l'ensemble de validation et l'ensemble de test doivent contenir le même nombre d'exemples, ou presque.

Le nombre d'exemples dans l'ensemble de test doit être supérieur au nombre d'exemples dans l'ensemble de validation ou d'entraînement.

Le nombre d'exemples dans l'ensemble d'entraînement est généralement supérieur au nombre d'exemples dans l'ensemble de validation ou d'entraînement. Toutefois, il n'existe aucune exigence de pourcentage pour les différents ensembles.

Supposons que votre ensemble de test contienne suffisamment d'exemples pour effectuer un test statistiquement significatif. De plus, les tests sur l'ensemble de test génèrent une faible perte. Cependant, le modèle a été peu performant dans le monde réel. Que devez-vous faire ?

Déterminez en quoi l'ensemble de données d'origine diffère des données réelles.

Oui. Même les meilleurs ensembles de données ne sont qu'un instantané des données réelles. La réalité de référence sous-jacente tend à changer au fil du temps. Bien que votre ensemble de test corresponde suffisamment à votre ensemble d'entraînement pour suggérer une bonne qualité de modèle, votre ensemble de données ne correspond probablement pas suffisamment aux données réelles. Vous devrez peut-être réentraîner et réessayer avec un nouvel ensemble de données.

Réexécutez le test sur le même ensemble de test. Les résultats du test peuvent être une anomalie.

Bien que le nouveau test puisse donner des résultats légèrement différents, cette tactique n'est probablement pas très utile.

Combien d'exemples l'ensemble de test doit-il contenir ?

Assez d'exemples pour obtenir un test statistiquement pertinent.

Oui. Combien d'exemples cela représente-t-il ? Vous devrez tester différentes options.

Au moins 15% de l'ensemble de données d'origine.

15% peut être un nombre d'exemples suffisant ou non.

Termes clés

• Ensemble de test
• Ensemble d'entraînement
• Ensemble de validation