Lineare Regression: Übung zum Gradientenabstieg

In dieser Übung sehen Sie sich noch einmal das Diagramm mit den Daten zur Kraftstoffverbrauchseffizienz aus der Übung zu Parametern an. Dieses Mal verwenden Sie jedoch den Gradientenabstieg, um die optimalen Gewichts- und Vorzeichenwerte für ein lineares Modell zu ermitteln, das den Verlust minimiert.

Führen Sie die drei Aufgaben unter der Grafik aus.

Bei einer hohen Lernrate kann diese interaktive Visualisierung blinkende Bilder erzeugen, was für lichtempfindliche Personen schädlich sein kann.

Aufgabe 1:Passen Sie den Schieberegler Lernrate unter der Grafik an, um eine Lernrate von 0,03 festzulegen. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Wie lange dauert es, bis das Modell konvergiert (d. h. einen stabilen Wert für den minimalen Verlust erreicht)? Wie hoch ist der MSE-Wert bei der Modellkonvergenz? Welche Gewichts- und Voreingenommenheitswerte führen zu diesem Wert?

Klicken Sie auf das Pluszeichen, um sich unsere Lösung anzusehen.

Bei einer Lernrate von 0, 03 konvergierte das Modell nach etwa 30 Sekunden und erreichte eine MSE von knapp 3 mit Gewichts- und Voreingestellten Werten von −2, 08 bzw. 23, 098. Das bedeutet, dass wir einen guten Wert für die Lernrate ausgewählt haben.

Hinweis:Die Datenpunkte im Diagramm variieren jedes Mal, wenn Sie die Seite laden. Daher können Ihre Lösungen hier etwas von unseren abweichen.

Aufgabe 2:Klicken Sie unter der Grafik auf die Schaltfläche Zurücksetzen, um die Werte für „Gewicht“ und „Voreingenommenheit“ in der Grafik zurückzusetzen. Stellen Sie den Schieberegler für die Lernrate auf einen Wert um 1,10e^–5 ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was fällt Ihnen auf, wie lange es diesmal dauert, bis das Modell konvergiert?

Klicken Sie auf das Pluszeichen, um die Lösung aufzurufen.

Nach mehreren Minuten ist das Modelltraining immer noch nicht konvergiert. Kleine Änderungen an den Werten für Gewicht und Voreingenommenheit führen weiterhin zu etwas niedrigeren Verlustwerten. Das bedeutet, dass mit einer höheren Lernrate der Gradientenabstieg die optimalen Gewichts- und Voreingestellten-Werte schneller finden kann.

Aufgabe 3:Klicken Sie unter dem Diagramm auf die Schaltfläche Zurücksetzen, um die Gewichts- und Voreingestellten-Werte im Diagramm zurückzusetzen. Stellen Sie den Schieberegler Lernrate auf „1“ ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was passiert mit den Verlustwerten während des Gradientenabstiegs? Wie lange dauert es diesmal, bis das Modell konvergiert?

Klicken Sie auf das Pluszeichen, um sich die Lösung anzusehen.

Bei hohen Werten (MSE über 300) schwanken die Verlustwerte stark. Das bedeutet, dass die Lernrate zu hoch ist und das Modelltraining nie zur Konvergenz kommt.