Examen de la regularización L1
Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y un poco ruidoso. En este tipo de escenario, el sobreajuste es un problema real. La regularización podría ayudar, pero ¿qué forma de regularización?
Este ejercicio consta de cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, ejecuta cada tarea en una pestaña independiente. Ten en cuenta que el espesor de las líneas que conectan ATRIBUTOS con SALIDA representa las ponderaciones relativas de cada atributo.
Tarea | Tipo de regularización | Tasa de regularización (lambda) |
---|---|---|
1 | L2 | 0.1 |
2 | L2 | 0.3 |
3 | L1 | 0.1 |
4 | L1 | 0.3 |
5 | L1 | Experimento |
Preguntas:
- ¿De qué manera el cambio de la regularización L2 a la L1 afecta el delta entre la pérdida de prueba y la pérdida de entrenamiento?
- ¿De qué manera el cambio de la regularización L2 a la L1 afecta las ponderaciones aprendidas?
- ¿De qué manera el aumento de la tasa de regularización L1 (lambda) afecta las ponderaciones aprendidas?
(Las respuestas aparecen justo debajo del ejercicio).