Regularyzacja na potrzeby rozluźnienia: ćwiczenia w zabawie

Szacowany czas: 8 minut

Badanie regularyzacji L₁

To ćwiczenie obejmuje mały, trochę głośny zbiór danych treningowych. W takiej sytuacji nadmiarowe dopasowanie jest poważnym problemem. Regularyzacja może pomóc, ale jaka to forma regularyzacji?

To ćwiczenie składa się z 5 powiązanych zadań. Aby uprościć porównanie 5 zadań, uruchom każde z nich na osobnej karcie. Zwróć uwagę, że grubość linii łączących FEATURES i WYJŚCIE reprezentuje względną wagę każdej cechy.

Działanie	Typ regularyzacji	Współczynnik regularyzacji (lambda)
1	L2	0,1
2	L2	0.3
3	L1	0,1
4	L1	0.3
5	L1	eksperyment

Pytania:

1. Jak przejście z regularyzacji L₂ na L₁ wpływa na różnicę między utratą testów a utratą trenowania?
2. Jak przejście z L₂ na L₁ wpływa na zapamiętane wagi?
3. W jaki sposób zwiększenie współczynnika regularyzacji L₁ (lambda) wpływa na zapamiętane wagi?

(Odpowiedzi pojawią się tuż pod ćwiczeniem).

---

---

Kliknij ikonę plusa, aby wyświetlić odpowiedzi.

1. Przejście z L₂ na L₁ znacząco zmniejsza różnicę między utratą testów a utratą trenowania.
2. Przejście z L₂ na L₁ tłumi wszystkie zapamiętane wagi.
3. Zwiększenie współczynnika regularyzacji L₁ zwykle tłumi zapamiętane wagi. Jeśli jednak tempo regularyzacji wzrośnie, model nie będzie mógł się zgromadzić, a straty będą bardzo duże.