En agosto de 2024, se lanzará una versión nueva y mejorada del Curso intensivo de aprendizaje automático. ¡No te pierdas ninguna novedad!
Este módulo se centra en los requisitos especiales para los modelos aprendidos con vectores de atributos que tienen muchas dimensiones.
Regularización para lograr dispersión
Volvamos a las combinaciones de atributos
- Aclaración: Las combinaciones de atributos dispersas pueden aumentar en gran medida el espacio de los atributos.
- Problemas posibles:
- El tamaño del modelo (RAM) puede ser enorme
- Coeficientes de “ruido” (provocan un sobreajuste)
Regularización L1
- Quieres penalizar la norma L0 de los pesos
- optimización de función no convexa, NP duro
Regularización L1
- Quieres penalizar la norma L0 de los pesos
- optimización de función no convexa, NP duro
- Relajar la regularización L1:
- Penalizar la suma de abs(pesos)
- Problema convexo
- Alienta la dispersión, a diferencia de L2.