Regresja liniowa: ćwiczenie ze spadkiem gradientu

W tym ćwiczeniu ponownie wyświetlimy wykres danych dotyczących zużycia paliwa w sekcji Parametry. Jednak tym razem użyj gradientu gradientu, by poznać optymalną wartość wagi i odchylenia dla liniowej który pozwala zminimalizować straty.

Wykonaj trzy zadania pod wykresem.

Zadanie 1. Dostosuj suwak Tempo uczenia się pod wykresem, aby ustawić tempo uczenia się 0,03. Kliknij przycisk Start, aby uruchomić gradient gradientowy.

Ile czasu zajmuje trenowanie modelu, aby uzyskać zbieżność (osiągnięcie stabilnego minimum wartość straty)? Jaka jest wartość MSE przy zbieżności modelu? Jaka waga i uprzedzenia wartości dają tę wartość?

Kliknij ikonę plusa, aby zobaczyć nasze rozwiązanie

Gdy ustaliliśmy tempo uczenia się na poziomie 0,03, model zbieżał po 30 sekund, uzyskując wynik MSE nieco poniżej 3 z wagą wartości odchylenia odpowiednio –2,08 i 23,098. Wskazuje to, że wybiorą dobrą wartość tempa uczenia się.

Uwaga: punkty danych na wykresie nieco się różnią przy każdym wczytaniu strony, więc dostępne tu rozwiązania mogą być różnią się od naszych.

Zadanie 2: kliknij przycisk Resetuj pod wykresem, aby zresetować Wartości odchylenia na wykresie. Ustaw suwak Tempo uczenia się na wartość około 1.10e^–5. Kliknij przycisk Start, aby uruchomić gradient gradientowy.

Co zauważasz, jeśli chodzi o zgodność trenowania modelu? tym razem?

Kliknij ikonę plusa, aby zobaczyć rozwiązanie

Po kilku minutach trenowanie modelu nadal się nie zmieniło. Mały aktualizacje wartości Waga i Odchylenie nadal skutkują nieco obniżeniem wartości wartości strat. Sugeruje to, że wybór wyższego tempa uczenia się włącz gradient gradientowy, by znaleźć optymalną wartość wagi i odchylenia szybko.

Zadanie nr 3: kliknij przycisk Resetuj pod wykresem, aby zresetować wagę. i wartości odchylenia na wykresie. Przesuń suwak Szybkość uczenia się na 1. Kliknij przycisk Start, aby uruchomić gradient gradientowy.

Co dzieje się z wartościami strat podczas przesuwania się w kierunku gradientu? Jak długo będzie używane modelowanie żeby się zbieżnie tym razem?

Kliknij ikonę plusa, aby zobaczyć rozwiązanie

Wartości strat wahają się gwałtownie przy wysokich wartościach (MSE powyżej 300). Oznacza to, że tempo uczenia się jest zbyt wysokie, a trenowanie modelu nigdy nie osiągnie konwersji.