Wir kehren zu Playground zurück, um mit Trainings- und Test-Datasets zu experimentieren.
Klicken Sie auf das Plus-Symbol, um sich die Bedeutung der orangefarbenen und blauen Punkte anzeigen zu lassen.
In der Visualisierung:
Jeder blaue Punkt steht für ein Beispiel für eine Datenklasse (z. B. Spam).
Jeder orangefarbene Punkt steht für ein Beispiel einer anderen Datenklasse (z. B. „Kein Spam“).
Die Hintergrundfarbe stellt die Vorhersage des Modells dar, wo Beispiele für diese Farbe zu finden sind. Ein blauer Hintergrund um einen blauen Punkt bedeutet, dass das Modell dieses Beispiel korrekt vorhersagt. Umgekehrt bedeutet ein orangefarbener Hintergrund um einen blauen Punkt, dass das Modell eine falsche Vorhersage für dieses Beispiel trifft.
In dieser Übung werden ein Test- und ein Trainings-Dataset bereitgestellt, die beide aus demselben Dataset stammen. Standardmäßig wird in der Visualisierung nur der Trainingssatz angezeigt. Wenn Sie auch das Test-Dataset sehen möchten, klicken Sie unter der Visualisierung auf das Kästchen Testdaten anzeigen. Beachten Sie in der Visualisierung die folgende Unterscheidung:
Die Trainingsbeispiele haben eine weiße Umrandung.
Die Testbeispiele haben eine schwarze Umrandung.
Aufgabe 1: Führen Sie Playground mit den angegebenen Einstellungen aus. Gehen Sie dazu so vor:
Klicken Sie auf die Schaltfläche „Ausführen/Anhalten“:
Sehen Sie sich an, wie sich die Werte für Test- und Trainingsverlust ändern.
Wenn sich die Werte für Testverlust und Trainingsverlust nicht mehr ändern oder sich nur einmal ab und zu ändern, drücken Sie noch einmal die Schaltfläche „Run/Pause“, um Playground zu pausieren.
Beachten Sie das Delta zwischen dem Test- und dem Trainingsverlust. Wir versuchen, dieses Delta
in den folgenden Aufgaben zu reduzieren.
Ist das Delta zwischen Test- und Trainingsverlust mit dieser neuen Lernrate kleiner oder größer? Was passiert, wenn Sie sowohl die Lernrate als auch die Batchgröße ändern?
Optionale Aufgabe 3: Mit dem Schieberegler Prozentsatz der Trainingsdaten können Sie den Anteil der Trainingsdaten zu Testdaten steuern. Wenn Sie beispielsweise 90 % festlegen, werden 90% der Daten für das Trainings-Dataset und die verbleibenden 10% für das Test-Dataset verwendet.
Gehen Sie dazu so vor:
Verringern Sie den „Prozentsatz der Trainingsdaten“ von 50% auf 10%.
Experimentieren Sie mit der Lernrate und der Batchgröße und machen Sie sich Notizen zu den Ergebnissen.
Wirkt sich eine Änderung des Prozentsatzes der Trainingsdaten auf die optimalen Lerneinstellungen aus, die Sie in Aufgabe 2 ermittelt haben? Wenn ja, warum?
Klicken Sie auf das Pluszeichen, um die Antwort auf Aufgabe 1 zu erhalten.
Bei einer Lernrate von 3 (ursprüngliche Einstellung) ist der Testverlust deutlich höher als der Trainingsverlust.
Klicken Sie auf das Pluszeichen, um die Antwort auf Aufgabe 2 zu erhalten.
Durch Reduzieren der Lernrate (z. B. auf 0.001) sinkt der Testverlust auf einen Wert, der viel näher an dem Trainingsverlust liegt. In den meisten Ausführungen wirkt sich eine Erhöhung der Batchgröße nicht erheblich auf den Trainings- oder Testverlust aus. Bei einem kleinen Prozentsatz der Ausführungen fällt der Testverlust jedoch leicht unter den Trainingsverlust, wenn die Batchgröße auf 20 oder mehr erhöht wird.
Die Datasets von Playground werden zufällig generiert. Daher stimmen unsere Antworten möglicherweise nicht immer genau mit Ihrer überein.
Klicken Sie auf das Pluszeichen, um die Antwort zu Aufgabe 3 zu erhalten.
Durch eine Reduzierung des Prozentsatzes der Trainingsdaten von 50% auf 10% wird die Anzahl der Datenpunkte im Trainings-Dataset drastisch reduziert. Bei so wenigen Daten führen eine hohe Batchgröße und eine hohe Lernrate dazu, dass das Trainingsmodell chaotisch springt und wiederholt über den Mindestwert springt.