Regularización para lograr dispersión: Ejercicio de Playground

Examen de la regularización L1

Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y un poco ruidoso. En este tipo de escenario, el sobreajuste es un problema real. La regularización podría ayudar, pero ¿qué forma de regularización?

Este ejercicio consta de cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, ejecuta cada tarea en una pestaña independiente. Ten en cuenta que el espesor de las líneas que conectan ATRIBUTOS con SALIDA representa las ponderaciones relativas de cada atributo.

Tarea Tipo de regularización Tasa de regularización (lambda)
1 L2 0.1
2 L2 0.3
3 L1 0.1
4 L1 0.3
5 L1 Experimento

Preguntas:

  1. ¿De qué manera el cambio de la regularización L2 a la L1 afecta el delta entre la pérdida de prueba y la pérdida de entrenamiento?
  2. ¿De qué manera el cambio de la regularización L2 a la L1 afecta las ponderaciones aprendidas?
  3. ¿De qué manera el aumento de la tasa de regularización L1 (lambda) afecta las ponderaciones aprendidas?

(Las respuestas aparecen justo debajo del ejercicio).