Im August 2024 gibt es eine neue und verbesserte Version des Crashkurses zum maschinellen Lernen. Mehr dazu demnächst!
In diesem Modul geht es um die besonderen Anforderungen für Modelle, die anhand von Featurevektoren mit vielen Dimensionen erlernt wurden.
Regularisierung für Sparsity
Zurück zu den Funktionsverknüpfungen
- Warnung:Sparse Feature Crosses können den Featurebereich erheblich erhöhen.
- Mögliche Probleme:
- Modellgröße (RAM) kann riesig werden
- „Rauschen“-Koeffizienten (verursachen eine Überanpassung)
L1-Regularisierung
- Möchte die L0-Norm der Gewichtungen bestrafen
- Nicht-konvexe Optimierung; NP-schwer
L1-Regularisierung
- Möchte die L0-Norm der Gewichtungen bestrafen
- Nicht-konvexe Optimierung; NP-schwer
- Relaxen Sie zur L1-Regularisierung:
- Summe von abs(weights) bestrafen
- Konvexe-Problem
- Fördern von Datenknappheit im Gegensatz zu L2