Uczenie maszynowe byłoby znacznie prostsze, gdyby wszystkie krzywe strat wyglądały tak samo przy pierwszym trenowaniu modelu:
Rysunek 20. Idealna krzywa strat
Niestety krzywe strat są często trudne do zinterpretowania. Wykorzystaj swoją intuicję dotyczącą krzywych strat, aby rozwiązać ćwiczenia na tej stronie.
Ćwiczenie 1. Krzywa wahań strat
Rysunek 21. Krzywa oscylacyjna utraty.
Jakie 3 rzeczy możesz zrobić, aby poprawić krzywą strat przedstawioną na rysunku 21.
Zwiększ liczbę przykładów w zbiorze treningowym.
To kusząca propozycja, ale jest bardzo mało prawdopodobne, że rozwiąże ona problem.
Zwiększ tempo uczenia się.
Ogólnie unikaj zwiększania szybkości uczenia się, gdy krzywa uczenia się modelu wskazuje na problem.
zmniejszenie szybkości uczenia się,
Tak, zmniejszenie szybkości uczenia się często jest dobrym pomysłem podczas debugowania problemu z trenowaniem.
Zmniejsz zbiór treningowy do niewielkiej liczby wiarygodnych przykładów.
Chociaż ta technika brzmi sztucznie, w istocie jest dobrym pomysłem. Zakładając, że model zbiega się na małym zbiorze wiarygodnych przykładów, możesz stopniowo dodawać więcej przykładów, aby sprawdzić, które z nich powodują wahania krzywej strat.
Porównaj swoje dane ze schematem danych, aby wykryć złe przykłady, a potem usuń je ze zbioru treningowego.
Tak, jest to dobra praktyka w przypadku wszystkich modeli.
Ćwiczenie 2. Krzywa strat z ostrym skokiem
Rysunek 22. Gwałtowny wzrost strat.
Które dwa z podanych stwierdzeń wskazują na możliwe przyczyny gwałtownego spadku wartości przedstawionego na rysunku 22.
Zbyt niski współczynnik uczenia się.
Bardzo niskie tempo uczenia się może wydłużać czas trenowania, ale nie jest przyczyną dziwnej krzywej straty.
Dane wejściowe zawierają co najmniej 1 wartość NaN, np. wartość spowodowaną przez dzielenie przez 0.
Jest to częstsze zjawisko, niż mogłoby się wydawać.
Współczynnik regularyzacji jest za wysoki.
To prawda, że bardzo wysoka regularyzacja może uniemożliwić modelowi konwergencję, ale nie spowoduje dziwnej krzywej utraty przedstawionej na rysunku 22.
Dane wejściowe zawierają dużą liczbę wartości odstających.
Czasami z powodu nieprawidłowego mieszania partii partia może zawierać wiele wartości odstających.
Ćwiczenie 3. Strata w testach różni się od straty w treningu
Rysunek 23. gwałtowny wzrost strat z powodu nieprawidłowej weryfikacji,
Które z tych stwierdzeń najlepiej opisuje przyczynę tej różnicy między krzywą straty w przypadku zbiorów danych treningowych i testowych?
Tempo uczenia się jest za wysokie.
Gdyby szybkość uczenia się była zbyt wysoka, krzywa strat dla zbioru treningowego prawdopodobnie nie wyglądałaby tak samo.
Model zbyt dobrze pasuje do zbioru treningowego.
Tak. Możliwe rozwiązania:
Uprość model, np. przez zmniejszenie liczby cech.
Zwiększ stopień regularyzacji.
Upewnij się, że zbiór treningowy i testowy są statystycznie równoważne.
Ćwiczenie 4. Krzywa strat się zacina
Rysunek 24. Chaotyczna utrata po określonej liczbie kroków.
Które z tych stwierdzeń jest najbardziej prawdopodobnym wyjaśnieniem nieregularnej krzywej strat pokazanej na rysunku 24?
Współczynnik regularyzacji jest za wysoki.
Jest to mało prawdopodobne.
zbiór treningowy zawiera zbyt wiele cech;
Jest to mało prawdopodobne.
Treningowy zbiór danych zawiera powtarzające się sekwencje przykładów.
To jest możliwe. Upewnij się, że wystarczająco często losujesz przykłady.
[null,null,["Ostatnia aktualizacja: 2024-11-14 UTC."],[[["This document helps you understand and interpret Machine Learning loss curves through a series of exercises and visual examples."],["You will learn how to identify common issues like oscillating loss, exploding loss, overfitting, and erratic behavior in your models."],["Solutions are provided for each exercise, along with explanations for various loss curve patterns."],["Techniques to address these issues are discussed, including adjusting learning rate, cleaning training data, and applying regularization."],["A glossary of key Machine Learning terminology related to loss curves and model training is included for quick reference."]]],[]]