Regularisierung für Sparsität: Playground-Übung

Geschätzte Zeit: 8 Minuten

L₁-Regularisierung untersuchen

Diese Übung enthält ein kleines, etwas lautes Trainings-Dataset. In einer solchen Situation ist Überanpassung ein echtes Problem. Regularisierung könnte hilfreich sein, aber welche Form der Regularisierung?

Diese Übung besteht aus fünf zusammengehörigen Aufgaben. Um Vergleiche zwischen den fünf Aufgaben zu vereinfachen, führen Sie jede Aufgabe in einem separaten Tab aus. Die Dicke der Linien, die FEATURES und OUTPUT verbinden, stellen die relativen Gewichtungen der einzelnen Elemente dar.

Aufgabe	Regularisierungstyp	Regularisierungsrate (Lambda)
1	L2	0,2
2	L2	0.3
3	L1	0,2
4	L1	0.3
5	L1	Test

Fragen:

1. Wie beeinflusst der Wechsel von der L₂- zur L₁-Regularisierung das Delta zwischen Test- und Trainingsverlust?
2. Wie beeinflusst der Wechsel von der L₂- zur L₁-Regularisierung die gelernten Gewichtungen?
3. Wie wirkt sich eine Erhöhung der L₁-Regularisierungsrate (Lambda) auf die gelernten Gewichtungen aus?

(Die Antworten werden direkt unter der Übung angezeigt.)

---

---

Klicken Sie auf das Pluszeichen, um Antworten aufzurufen.

1. Ein Wechsel von der L₂- zur L₁-Regularisierung reduziert das Delta zwischen Test- und Trainingsverlust erheblich.
2. Der Wechsel von der L₂- zur L₁-Regularisierung dämpft alle gelernten Gewichtungen.
3. Das Erhöhen der L₁-Regularisierungsrate dämpft in der Regel die gelernten Gewichtungen. Wenn die Regularisierungsrate jedoch zu hoch wird, kann das Modell nicht konvergieren und die Verluste sind sehr hoch.