Lineare Regression: Gradientenabstiegsübung

In dieser Übung sehen Sie sich noch einmal das Diagramm mit den Daten zur Kraftstoffverbrauchseffizienz aus der Übung zu Parametern an. Dieses Mal verwenden Sie jedoch den Gradientenabstieg, um die optimalen Gewichts- und Biaswerte für ein lineares Modell zu ermitteln, das den Verlust minimiert.

Führen Sie die drei Aufgaben unter der Grafik aus.

Diese interaktive Visualisierung kann bei einer hohen Lernrate blinkende Bilder erzeugen, was sich auf lichtempfindliche Personen auswirken kann.

Aufgabe 1: Passen Sie den Schieberegler Lernrate unter dem Diagramm auf eine Lernrate von 0,03 an. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Wie lange dauert es, bis das Modell konvergiert (d. h. einen stabilen Wert für den minimalen Verlust erreicht)? Was ist der MSE-Wert bei der Modellkonvergenz? Welche Gewichts- und Verzerrungswerte erzeugen diesen Wert?

Klicken Sie auf das Pluszeichen, um unsere Lösung aufzurufen

Bei einer Lernrate von 0, 03 konvergierte das Modell nach etwa 30 Sekunden und erreichte einen MSE von knapp unter 3 mit Gewichts- und Verzerrungswerten von -2, 08 bzw. 23, 098. Das deutet darauf hin, dass Sie einen geeigneten Wert für die Lernrate ausgewählt haben.

Hinweis:Die Datenpunkte im Diagramm weichen jedes Mal leicht ab, wenn die Seite geladen wird. Daher können Ihre Lösungen hier etwas von unserer abweichen.

Aufgabe 2:Klicken Sie unter der Grafik auf die Schaltfläche Zurücksetzen, um die Werte für „Gewicht“ und „Voreingenommenheit“ im Diagramm zurückzusetzen. Stellen Sie den Schieberegler Lernrate auf einen Wert um 1.10e^–5 ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was fällt Ihnen an der Zeit auf, die das Modelltraining benötigt, um dieses Mal zu konvergieren?

Klicken Sie auf das Pluszeichen, um die Lösung zu sehen

Nach mehreren Minuten ist das Modelltraining immer noch nicht konvergiert. Kleine Änderungen an den Werten für Gewicht und Voreingenommenheit führen weiterhin zu etwas niedrigeren Verlustwerten. Das legt nahe, dass mit einer höheren Lernrate der Gradientenabstieg die optimalen Gewichts- und Voreingestellten-Werte schneller finden kann.

Aufgabe 3:Klicken Sie unter dem Diagramm auf die Schaltfläche Zurücksetzen, um die Gewichts- und Voreingestellten-Werte im Diagramm zurückzusetzen. Stellen Sie den Schieberegler für die Lernrate auf 1. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was passiert mit den Verlustwerten während des Gradientenabstiegs? Wie lange dauert es diesmal, bis das Modell konvergiert?

Klicken Sie auf das Pluszeichen, um sich die Lösung anzusehen.

Bei hohen Werten (MSE über 300) schwanken die Verlustwerte stark. Dies bedeutet, dass die Lernrate zu hoch ist und das Modelltraining nie zu einer Konvergenz führt.