Este módulo se centra en los requisitos especiales para los modelos aprendidos con vectores de atributos que tienen muchas dimensiones.
Regularización para lograr dispersión
Volvamos a las combinaciones de atributos
- Aclaración: Las combinaciones de atributos dispersas pueden aumentar en gran medida el espacio de los atributos.
- Problemas posibles:
- El tamaño del modelo (RAM) puede ser enorme
- Coeficientes de “ruido” (provocan un sobreajuste)
Regularización L1
- Quieres penalizar la norma L0 de los pesos
- optimización de función no convexa, NP duro
Regularización L1
- Quieres penalizar la norma L0 de los pesos
- optimización de función no convexa, NP duro
- Relajar la regularización L1:
- Penalizar la suma de abs(pesos)
- Problema convexo
- Alienta la dispersión, a diferencia de L2.
