Generalización

La generalización hace referencia a la capacidad de tu modelo para adaptarse de forma adecuada a datos nuevos nunca antes vistos, obtenidos de la misma distribución utilizada para crear el modelo.

Generalización

Ciclo de modelo, predicción, muestra, descubrimiento de una distribución verdadera, más muestreo
  • Objetivo: Predecir bien sobre los datos nuevos obtenidos de una distribución verdadera (oculta).
  • Problema: No vemos la verdad.
    • Solo podemos tomar muestras de él.
Ciclo de modelo, predicción, muestra, descubrimiento de una distribución verdadera, más muestreo
  • Objetivo: Predecir bien sobre los datos nuevos obtenidos de una distribución verdadera (oculta).
  • Problema: No vemos la verdad.
    • Solo podemos tomar muestras de él.
  • Si el modelo h se ajusta bien a nuestra muestra actual, ¿cómo podemos confiar en que predecirá bien en otras muestras nuevas?
  • Teóricamente:
    • Campo interesante: teoría de la generalización
    • Según las ideas de medir la simplicidad o complejidad del modelo
  • Intuición: formalización del principio de la navaja de Ockham
    • Cuanto menos complejo sea un modelo, más probable será que un buen resultado empírico no se deba simplemente a las peculiaridades de nuestra muestra
  • Empíricamente:
    • Preguntar: ¿A nuestro modelo le va bien en una nueva muestra de datos?
    • Evaluar: Obtener una nueva muestra de datos; llamarla "conjunto de prueba"
    • Un buen rendimiento del conjunto de prueba es un indicador útil del buen rendimiento de los datos nuevos en general:
      • Si el conjunto de pruebas es lo suficientemente grande
      • Si no hacemos trampa usando el conjunto de prueba una y otra vez

Tres suposiciones básicas respecto de todo lo anterior:

  1. Los ejemplos se obtienen independiente e idénticamente (es decir, p.ej.) de manera aleatoria de la distribución.
  2. La distribución es estática: no cambia con el tiempo.
  3. Siempre extraemos datos de la misma distribución, incluidos los conjuntos de entrenamiento, validación y prueba.