Verlust reduzieren: Lernrate optimieren

Geschätzte Zeit: 15 Minuten

Übung 1

Stellen Sie auf dem Schieberegler eine Lernrate von 0,03 ein. Drücken Sie weiterhin die SCHRITT-Taste, bis der Algorithmus des Gradientenverfahrens den Mindestpunkt der Verlustkurve erreicht. Wie viele Schritte hat das gegangen?

Lösung

Der Gradientenabstieg erreicht in 40 Schritten den Mindestwert der Kurve.

Übung 2

Können Sie das Minimum mit einer höheren Lernrate schneller erreichen? Legen Sie eine Lernrate von 0,1 fest und drücken Sie weiterhin SCHRITT, bis der Gradientenabstieg das Minimum erreicht. Wie viele Schritte hat es dieses Mal gedauert?

Lösung

Der Gradientenabstieg erreicht in 11 Schritten die Kurve.

Übung 3

Wie wäre es mit einer noch größeren Lernrate? Setzen Sie das Diagramm zurück, legen Sie eine Lernrate von 1 fest und versuchen Sie, das Minimum der Verlustkurve zu erreichen. Was ist passiert?

Lösung

Der Gradientenabstieg erreicht nie den Mindestwert. Deshalb werden die Schritte immer größer. Jeder Schritt springt vor und zurück über die Schüssel und krümmt die Kurve, statt nach unten zu steigen.

Optionale Identitätsbestätigung

Finden Sie die Lernrate Goldlöckchen für diese Kurve, bei der der Gradientenabstieg den niedrigsten Punkt in der kleinstmöglichen Anzahl von Schritten erreicht? Wie viele Schritte sind nötig, um das Minimum zu erreichen?

Lösung

Die Lernrate für Goldilocks für diese Daten liegt zwischen 0,2 und 0,3. Dieser Wert würde den Mindestwert in drei oder vier Schritten erreichen.

HINWEIS: In der Praxis ist die Suche nach einer „perfekten“ (oder nahezu perfekten) Lernrate nicht für ein erfolgreiches Modelltraining unerlässlich. Das Ziel besteht darin, eine Lernrate zu finden, die groß genug ist, dass der Gradientenabstieg effizient konvergiert, aber nicht so konvergiert, dass er nie konvergiert wird.