Regularyzacja L1
Zapoznaj się z poniższymi opcjami.
Wyobraź sobie model liniowy ze 100 cechami wejściowych:
(10) zawierają bardzo dużo informacji.
90 z nich nie zawiera informacji.
Załóżmy, że wszystkie cechy mają wartości z zakresu od -1 do 1.
Które z poniższych stwierdzeń jest prawdziwe?
Regularyzacja L1 zachęca wiele nieinformacyjnych do ustalania wartości wag do wartości 0,0 (ale nie dokładnie).
Ogólnie regularyzacja wystarczającej ilości funkcji lambda L1 zachęca funkcje nieinformacyjne do podawania wagi dokładnie 0, 0.
W przeciwieństwie do regularyzacji L2 regularyzacja L1 „przesuwa się” tak samo mocno w kierunku 0,0, niezależnie od tego, jak daleko od wagi wynosi 0,0.
Regularyzacja L1 sprawia, że większość nieinformatywnych wag będzie wynosić dokładnie 0,0.
Regularyzacja poziomu lambda L1 zachęca nieinformacyjne wagi do wartości dokładnie 0,0. W rezultacie te nieinformacyjne funkcje opuszczają model.
Regularyzacja L1 może spowodować, że cechy informacyjne uzyskują wagę dokładnie 0,0.
Zachowaj ostrożność – regularyzacja L1 może spowodować, że te rodzaje cech będą mieć przypisaną wagę dokładnie 0:
Funkcje zawierające mało informacji.
Zawiera funkcje o dużej ilości informacji na różnych skalach.
Funkcje informacyjne są silnie powiązane z innymi funkcjami o podobnej wartości.
L1 a regularizacja L2
Zapoznaj się z poniższymi opcjami.
Załóżmy, że model liniowy ze 100 cechami wejściowymi, z których wszystkie mają wartości z zakresu od -1 do 1:
(10) zawierają bardzo dużo informacji.
90 z nich nie zawiera informacji.
Jaki typ regularyzacji wygeneruje mniejszy model?
Regularyzacja L2.
Regularyzacja L2 rzadko zmniejsza liczbę cech.
Oznacza to, że regularyzacja L2 rzadko zmniejsza rozmiar modelu.
Regularyzacja L1.
Regularyzacja L1 zwykle zmniejsza liczbę cech. Innymi słowy, regularyzacja L1 często zmniejsza rozmiar modelu.