Sobreajuste: Complejidad del modelo

En la unidad anterior, se presentó el siguiente modelo, que categorizó de forma incorrecta muchos árboles en el conjunto de prueba:

Figura 16: El modelo complejo con comportamiento incorrecto de la unidad anterior.

El modelo anterior contiene muchas formas complejas. ¿Un modelo más simple manejaría mejor los datos nuevos? Supongamos que reemplazas el modelo complejo por un modelo ridículamente simple: una línea recta.

Figura 17: Un modelo mucho más simple.

El modelo simple generaliza mejor que el modelo complejo en datos nuevos. Es decir, el modelo simple hizo mejores predicciones en el conjunto de prueba que el modelo complejo.

La simplicidad ha estado superando a la complejidad durante mucho tiempo. De hecho, la preferencia por la simplicidad se remonta a la antigua Grecia. Siglos después, un fraile del siglo XIV llamado Guillermo de Ockham formalizó la preferencia por la simplicidad en una filosofía conocida como navaja de Ockham. Esta filosofía sigue siendo un principio subyacente esencial de muchas ciencias, incluido el aprendizaje automático.

Nota: Por lo general, los modelos complejos superan a los simples en el conjunto de entrenamiento. Sin embargo, los modelos simples suelen tener un mejor rendimiento que los complejos en el conjunto de prueba (lo que es más importante).

Ejercicios: Comprueba tu comprensión

Estás desarrollando una ecuación de física. ¿Cuál de las siguientes fórmulas se ajusta más a la navaja de Occam?

Una fórmula con tres variables.

Tres variables son más compatibles con la navaja de Occam que doce.

Una fórmula con doce variables.

Doce variables parecen demasiado complicadas, ¿no? Las dos fórmulas de física más famosas de todos los tiempos (F=ma y E=mc²) solo involucran tres variables.

Estás en un proyecto de aprendizaje automático nuevo y estás a punto de seleccionar tus primeras funciones. ¿Cuántas características debes elegir?

Elige entre 1 y 3 atributos que parecen tener un gran poder predictivo.

Es mejor que tu canalización de recopilación de datos comience con solo una o dos funciones. Esto te ayudará a confirmar que el modelo de AA funciona según lo previsto. Además, cuando crees un modelo de referencia a partir de un par de atributos, sentirás que estás progresando.

Elige entre 4 y 6 atributos que parecen tener un gran poder predictivo.

Es posible que, con el tiempo, uses esta cantidad de funciones, pero es mejor comenzar con menos. Menos atributos suelen significar menos complicaciones innecesarias.

Elige tantas funciones como puedas para comenzar a observar cuáles tienen el poder predictivo más fuerte.

Empieza de a poco. Cada función nueva agrega una dimensión nueva a tu conjunto de datos de entrenamiento. Cuando aumenta la dimensionalidad, el volumen del espacio aumenta tan rápido que los datos de entrenamiento disponibles se vuelven escasos. cuanto más dispersos sean tus datos, más difícil será para un modelo aprender la relación entre los atributos que realmente importan y la etiqueta. Este fenómeno se denomina “la maldición de la dimensionalidad”.

Regularización

Los modelos de aprendizaje automático deben cumplir simultáneamente con dos objetivos en conflicto:

• Se ajustan bien a los datos.
• Adapta los datos de la forma más sencilla posible.

Un enfoque para mantener un modelo simple es penalizar los modelos complejos, es decir, forzar al modelo a simplificarse durante el entrenamiento. Penalizar los modelos complejos es una forma de regularización.

Una analogía de la regularización: Supón que cada estudiante en una sala de conferencias tuviera un pequeño timbre que emitiera un sonido que molestara al profesor. Los estudiantes presionaban el timbre cada vez que la conferencia del profesor se volvía demasiado complicada. Enojado, el profesor se vería obligado a simplificar la conferencia. El profesor se quejaba: “Cuando simplifico, no soy lo suficientemente preciso”. Los estudiantes responderían: “El único objetivo es explicarlo de manera lo suficientemente simple para que lo entienda”. Gradualmente, los timbres entrenarían al profesor para que dé una conferencia lo suficientemente simple, incluso si no es lo suficientemente precisa.

Pérdida y complejidad

Hasta ahora, este curso sugirió que el único objetivo durante el entrenamiento era minimizar la pérdida, es decir:

$$\text{minimize(loss)}$$

Como viste, los modelos enfocados únicamente en minimizar la pérdida tienden a sobreajustarse. Un mejor algoritmo de optimización del entrenamiento minimiza alguna combinación de pérdida y complejidad:

$$\text{minimize(loss + complexity)}$$

Lamentablemente, la pérdida y la complejidad suelen tener una relación inversa. A medida que aumenta la complejidad, disminuye la pérdida. A medida que disminuye la complejidad, aumenta la pérdida. Debes encontrar un punto medio razonable en el que el modelo realice buenas predicciones en los datos de entrenamiento y en los datos del mundo real. Es decir, tu modelo debe encontrar un compromiso razonable entre la pérdida y la complejidad.

¿Qué es la complejidad?

Ya viste algunas formas diferentes de cuantificar las pérdidas. ¿Cómo cuantificarías la complejidad? Comienza tu exploración con el siguiente ejercicio:

Ejercicio: Comprueba tu intuición

Hasta ahora, hemos sido bastante vagos sobre lo que es realmente la complejidad. ¿Cuál de las siguientes ideas crees que sería una métrica de complejidad razonable?

La complejidad es una función de los pesos del modelo.

Sí, esta es una forma de medir la complejidad de algunos modelos. Esta métrica se denomina regularización L₁.

La complejidad es una función del cuadrado de los pesos del modelo.

Sí, puedes medir la complejidad de algunos modelos de esta manera. Esta métrica se denomina regularización L₂.

La complejidad es una función de los sesgos de todos los atributos del modelo.

El sesgo no mide la complejidad.

Términos clave:

• Regularización de L₁
• Regularización L₂
• Regularización