Ensembles de données, généralisation et surapprentissage

Durée estimée du module:105 minutes

Objectifs de la formation

• Identifiez quatre caractéristiques différentes des données et des jeux de données.
• Identifiez au moins quatre causes différentes de manque de fiabilité des données.
• Déterminer quand supprimer les données manquantes et quand les imputer.
• Faire la différence entre les étiquettes directes et dérivées.
• Identifier deux façons différentes d'améliorer la qualité des évaluations étiquettes.
• Expliquer pourquoi subdiviser un ensemble de données en un ensemble d'entraînement, un ensemble de validation et ensemble de test. identifier un problème potentiel dans les divisions de données.
• Expliquez le surapprentissage et identifiez trois causes possibles de ce surapprentissage.
• Expliquer le concept de régularisation En particulier, expliquez suivantes: <ph type="x-smartling-placeholder">
  </ph>
  • Biais vs variance (adaptation aux valeurs aberrantes, etc.)
  • Régularisation L₂, y compris lambda (régularisation taux)
  • Arrêt prématuré
• Interpréter différents types de courbes de fonction de perte détecter la convergence et surapprentissage des courbes de fonction de perte.

Conditions préalables:

Dans ce module, nous partons du principe que vous connaissez les concepts abordés dans le modules suivants:

• Introduction to Machine Learning
• Régression linéaire
• Utiliser des données numériques
• Utiliser des données catégorielles

Introduction

Ce module commence par une question suggestive. Choisissez l'une des réponses suivantes:

Si vous deviez prioriser l'amélioration de l'un des domaines suivants de votre projet de machine learning, impact?

Améliorer la qualité de votre ensemble de données

Les données l'emportent sur tout. La qualité et la taille de l'ensemble de données sont beaucoup plus importantes que vous utilisez pour créer votre modèle.

Appliquer une fonction de perte plus intelligente pour entraîner le modèle

Certes, une meilleure fonction de perte peut accélérer l'entraînement d'un modèle, il s'agit toujours d'une seconde lointaine par rapport à un autre élément de cette liste.

Et voici une question encore plus tendancieuse:

Devinez: dans votre projet de machine learning, combien de temps consacrez-vous généralement à la préparation et à la transformation des données ?

Plus de la moitié du temps du projet

Oui, les professionnels du ML passent la majorité de leur temps la construction d'ensembles de données et l'ingénierie des caractéristiques.

Moins de la moitié du temps du projet

Prévoyez plus ! En général, 80% du temps projet est consacré à la construction d'ensembles de données et à la transformation des données.

Dans ce module, vous en apprendrez plus sur les caractéristiques du machine learning des ensembles de données, et comment préparer vos données pour garantir des résultats de haute qualité l'entraînement et l'évaluation de votre modèle.