Nadmierne dopasowanie: interpretacja krzywych straty

Uczenie maszynowe byłoby znacznie prostsze, gdyby wszystkie krzywe strat wyglądały tak samo przy pierwszym trenowaniu modelu:

Rysunek 20. Wykres przedstawiający idealną krzywą straty podczas trenowania modelu uczenia maszynowego. Krzywa strat przedstawia stratę na osi y, a liczba kroków trenowania na osi x. Wraz ze wzrostem liczby etapów treningu strata zaczyna być wysoka, a potem maleje wykładniczo, aż w końcu osiąga minimum.
Rysunek 20. Idealna krzywa strat

Niestety krzywe strat są często trudne do zinterpretowania. Wykorzystaj swoją intuicję dotyczącą krzywych strat, aby rozwiązać ćwiczenia na tej stronie.

Ćwiczenie 1. Krzywa wahań strat

Rysunek 21. Krzywa strat (straty na osi y, liczba kroków trenowania na osi x), na której straty nie wygładzają się.
            Zamiast tego straty zmieniają się w nieregularny sposób.
Rysunek 21. Krzywa oscylacyjna utraty.
Jakie 3 rzeczy możesz zrobić, aby poprawić krzywą strat przedstawioną na rysunku 21.
Zwiększ liczbę przykładów w zbiorze treningowym.
Zwiększ tempo uczenia się.
zmniejszenie szybkości uczenia się,
Zmniejsz zbiór treningowy do niewielkiej liczby wiarygodnych przykładów.
Porównaj swoje dane ze schematem danych, aby wykryć złe przykłady, a potem usuń je ze zbioru treningowego.

Ćwiczenie 2. Krzywa strat z ostrym skokiem

Rysunek 22. Wykres krzywej straty, który pokazuje, że straty maleją do określonej liczby kroków treningowych, a następnie nagle wzrastają wraz z kolejnymi krokami treningowymi.
Rysunek 22. Gwałtowny wzrost strat.
Które dwa z podanych stwierdzeń wskazują na możliwe przyczyny gwałtownego spadku wartości przedstawionego na rysunku 22.
Zbyt niski współczynnik uczenia się.
Dane wejściowe zawierają co najmniej 1 wartość NaN, np. wartość spowodowaną przez dzielenie przez 0.
Współczynnik regularyzacji jest za wysoki.
Dane wejściowe zawierają dużą liczbę wartości odstających.

Ćwiczenie 3. Strata w testach różni się od straty w treningu

Rysunek 23. Krzywa straty podczas trenowania zdaje się zbiegać, ale po pewnym czasie straty weryfikacji zaczynają rosnąć.
Rysunek 23. gwałtowny wzrost strat z powodu nieprawidłowej weryfikacji,
Które z tych stwierdzeń najlepiej opisuje przyczynę tej różnicy między krzywą straty w przypadku zbiorów danych treningowych i testowych?
Tempo uczenia się jest za wysokie.
Model zbyt dobrze pasuje do zbioru treningowego.

Ćwiczenie 4. Krzywa strat się zacina

Rysunek 24. Wykres krzywej utraty przedstawiający początkowe zbliżanie się utraty do trenowania, a potem powtarzające się wzorce przypominające prostokątną falę.
Rysunek 24. Chaotyczna utrata po określonej liczbie kroków.
Które z tych stwierdzeń jest najbardziej prawdopodobnym wyjaśnieniem nieregularnej krzywej strat pokazanej na rysunku 24?
Współczynnik regularyzacji jest za wysoki.
zbiór treningowy zawiera zbyt wiele cech;
Treningowy zbiór danych zawiera powtarzające się sekwencje przykładów.