Conjuntos de datos, generalización y sobreajuste

Duración estimada del módulo: 105 minutos

Objetivos de aprendizaje

• Identifica cuatro características diferentes de los datos y los conjuntos de datos.
• Identifica al menos cuatro causas diferentes de la falta de confiabilidad de los datos.
• Determina cuándo descartar datos faltantes y cuándo imputarlos.
• Diferenciar entre etiquetas directas y derivadas
• Identifica dos formas diferentes de mejorar la calidad de los anuncios con etiquetas de recursos.
• Explicar por qué subdividir un conjunto de datos en conjunto de entrenamiento, conjunto de validación y el conjunto de prueba; identificar un posible problema en las divisiones de datos.
• Explicar el sobreajuste e identificar tres causas posibles
• Explicar el concepto de regularización En particular, explica el lo siguiente:
  • Sesgo frente a varianza (adaptación a valores atípicos...)
  • regularización L₂, incluida lambda (regularización tarifa)
  • Interrupción anticipada
• Interpretar diferentes tipos de curvas de pérdida detectar la convergencia y el sobreajuste en las curvas de pérdida.

Requisitos previos:

En este módulo, se supone que estás familiarizado con los conceptos que se abordan en el los siguientes módulos:

• Introducción al aprendizaje automático
• Regresión lineal
• Trabaja con datos numéricos
• Trabaja con datos categóricos

Introducción

Este módulo comienza con una pregunta sugestiva. Elige una de las siguientes respuestas:

Si tuvieras que priorizar la mejora de una de las siguientes áreas en tu proyecto de aprendizaje automático, que tendría impacto?

Aplicar una función de pérdida más inteligente para entrenar tu modelo

Una mejor función de pérdida puede ayudar a que un modelo se entrene más rápido, sigue siendo un segundo elemento de esta lista.

Mejora la calidad de tu conjunto de datos

Los datos tienen prioridad sobre todo. La calidad y el tamaño del conjunto de datos son mucho más importantes de lo que el algoritmo más brillante que usas para crear tu modelo.

Y aquí hay una pregunta aún más sugerente:

Adivina: En tu proyecto de aprendizaje automático, ¿cuánto tiempo sueles invertir en la preparación y transformación de los datos?

Más de la mitad del tiempo del proyecto

Sí, los profesionales del AA pasan la mayor parte de su tiempo. en la construcción de conjuntos de datos y la ingeniería de atributos.

Menos de la mitad del tiempo del proyecto

Planifica más. Por lo general, un 80% de las veces se dedica al aprendizaje el proyecto se dedica a crear conjuntos de datos y transformar datos.

En este módulo, obtendrás más información sobre las características del aprendizaje automático. conjuntos de datos y cómo prepararlos para garantizar resultados de alta calidad cuando entrenar y evaluar tu modelo.