Lineare Regression: Gradientenabstiegsübung

In dieser Übung sehen Sie sich das Diagramm die Parameterübung. Aber dieses Mal mit dem Gradientenverfahren die optimale Gewichtung und Gewichtung das den Verlust minimiert.

Führen Sie die drei Aufgaben unter der Grafik aus.

Aufgabe 1: Passen Sie den Schieberegler Lernrate unter dem Diagramm an, um eine Lernrate 0,03. Klicken Sie auf die Schaltfläche Starten, um das Gradientenverfahren auszuführen.

Wie lange dauert die Konvergierung des Modelltrainings (ein stabiles Minimum erreichen?) Verlustwert)? Was ist der MSE-Wert bei der Modellkonvergenz? Welche Gewichtung und Voreingenommenheit Werte diesen Wert erzeugen?

Klicken Sie auf das Pluszeichen, um unsere Lösung aufzurufen

Bei einer Lernrate von 0, 03 konvergierte das Modell nach ungefähr 30 Sekunden, wodurch eine MSE von knapp unter 3 mit Gewichtung Bias-Werte –2,08 bzw. 23,098. Dies deutet darauf hin, einen guten Wert für die Lernrate ausgewählt.

Hinweis:Die Datenpunkte in der Grafik weichen leicht ab. laden, sodass Ihre Lösungen hier ein wenig anders als wir.

Aufgabe 2: Klicken Sie auf die Schaltfläche Zurücksetzen unterhalb des Diagramms, um Gewicht und Verzerrungen der Werte in der Grafik. Stellen Sie den Schieberegler Lernrate auf einen Wert um 1.10e^–5. Klicken Sie auf die Schaltfläche Starten, um das Gradientenverfahren auszuführen.

Was fällt Ihnen an der Zeit auf, die das Modelltraining benötigt, um zu konvergieren? dieses Mal?

Klicken Sie auf das Pluszeichen, um die Lösung zu sehen

Nach einigen Minuten ist das Modelltraining noch immer nicht konvergiert. Klein (S) Aktualisierungen der Werte für Gewichtung und Verzerrung führen weiterhin zu etwas niedrigeren Verlustwerte. Dies deutet darauf hin, dass eine höhere Lernrate Gradientenabstieg ermöglichen, um die optimale Gewichtung und Gewichtung zu ermitteln schnell ändern.

Aufgabe 3: Klicken Sie unter dem Diagramm auf die Schaltfläche Zurücksetzen, um die Gewichtung zurückzusetzen. und Verzerrungen in der Grafik. Stellen Sie den Schieberegler für die Lernrate auf 1. Klicken Sie auf die Schaltfläche Starten, um das Gradientenverfahren auszuführen.

Was passiert mit den Verlustwerten beim Gradientenabstieg? Wie lange wird die Modellierung die Schulungsdauer des Trainings?

Klicken Sie auf das Pluszeichen, um die Lösung zu sehen

Verlustwerte schwanken bei hohen Werten stark (über 300). Das deutet darauf hin, dass die Lernrate zu hoch ist und und niemals eine Konvergenz erreicht.