Regresja liniowa: ćwiczenie ze spadkiem gradientu

W tym ćwiczeniu ponownie otworzysz wykres danych o ekonomiczności spalania z ćwiczenia dotyczącego parametrów. Tym razem użyjesz metody gradientu prostego, aby znaleźć optymalne wartości wag i uprzedzeń dla modelu liniowego, który minimalizuje stratę.

Wykonaj 3 zadania pod wykresem.

Ta interaktywna wizualizacja może wyświetlać migające obrazy, jeśli ustawisz wysoką szybkość uczenia, co może mieć wpływ na osoby wrażliwe na światło.

Zadanie nr 1. Ustaw suwak Szybkość uczenia się pod wykresem, aby ustawić tempo uczenia się na poziomie 0,03. Kliknij przycisk Start, aby uruchomić gradient gradientowy.

Ile czasu trwa zbliżanie się modelu do punktu zbieżności (osiągnięcie stabilnej minimalnej wartości funkcji utraty)? Jaka jest wartość MSE w przypadku konwergencji modelu? Jakie wartości wagi i odchyleń generują tę wartość?

Kliknij ikonę plusa, aby zobaczyć nasze rozwiązanie.

Gdy ustawiliśmy szybkość uczenia się na 0,03, model osiągnął zbieżność po około 30 sekundach, uzyskując MSE poniżej 3, a wartości wag i uprzedzeń odpowiednio –2,08 i 23,098. To oznacza, że wybraliśmy dobrą wartość tempa uczenia się.

Uwaga: punkty danych na wykresie zmieniają się nieznacznie za każdym razem, gdy wczytujesz stronę, więc Twoje rozwiązania mogą się nieco różnić od naszych.

Zadanie 2: kliknij przycisk Reset pod wykresem, aby zresetować wartości wagi i uśredniania na wykresie. Dostosuj suwak Szybkość uczenia się do wartości około 1,10e^–5. Aby uruchomić zstępujące wygładzanie gradientu, kliknij przycisk Start (Rozpocznij).

Jak długo tym razem trwa konwergencja trenowania modelu?

Kliknij ikonę plusa, aby wyświetlić rozwiązanie

Po kilku minutach trenowanie modelu nadal nie osiągnęło konwergencji. Niewielkie zmiany wartości wagi i uprzedzeń nadal powodują nieznaczne obniżenie wartości utraty. Sugeruje to, że wybór wyższego współczynnika uczenia pozwoli algorytmowi gradientu prostego szybciej znaleźć optymalne wartości wag i uprzedzeń.

Zadanie 3: kliknij przycisk Reset pod wykresem, aby zresetować wartości wagi i bicia. Przesuń suwak Szybkość uczenia się do wartości 1. Aby uruchomić zstępujące ścieżki gradientu, kliknij przycisk Start (Rozpocznij).

Co się dzieje z wartościami utraty podczas uruchamiania gradientu prostego? Ile czasu zajmie zbliżenie się do optymalnego rozwiązania w przypadku trenowania modelu?

Kliknij ikonę plusa, aby zobaczyć rozwiązanie

Wartości strat przy wysokich wartościach (MSE powyżej 300) zmieniają się gwałtownie. Sugeruje to, że tempo uczenia się jest zbyt wysokie i trenowanie modelu nigdy nie osiągnie konwergencji.