Logistische Regression werden Modelle mit demselben Prozess trainiert wie lineare Regression Modelle mit zwei wichtigen Unterschieden:
- Logistische Regressionsmodelle nutzen Logverlust als Verlustfunktion statt quadratischem Verlust.
- Regularisierung anwenden ist wichtig, Überanpassung.
In den folgenden Abschnitten werden diese beiden Überlegungen ausführlicher erläutert.
Logverlust
Im Linearen Regressionsmodul Sie haben quadrierte Verluste (auch als L2-Verlust) als Verlustfunktion: Quadratischer Verlust eignet sich gut für lineare bei dem die Änderungsrate der Ausgabewerte konstant ist. Beispiel: mit dem linearen Modell $y' = b + 3x_1$, jedes Mal, wenn Sie die Eingabe erhöhen Wert $x_1$ um 1, erhöht sich der Ausgabewert $y'$ um 3.
Die Änderungsrate eines logistischen Regressionsmodells ist jedoch nicht konstant. Wie Sie unter Wahrscheinlichkeit berechnen gesehen haben, Sigmoidkurve ist s-förmig statt linear. Wenn der Wert der Log-Wahrscheinlichkeit ($z$) näher bei 0 liegt, ist er Anstiege bei $z$ führen zu viel größeren Änderungen an $y$ als wenn $z$ eine große positive oder negative Zahl. In der folgenden Tabelle sehen Sie, Ausgabe für Eingabewerte von 5 bis 10 sowie die entsprechende Genauigkeit erforderlich, um die Unterschiede in den Ergebnissen zu erfassen.
| Eingabe | Logistik | erforderliche Ziffern für die Genauigkeit |
|---|---|---|
| 5 | 0,993 | 3 |
| 6 | 0,997 | 3 |
| 7 | 0,999 | 3 |
| 8 | 0,9997 | 4 |
| 9 | 0,9999 | 4 |
| 10 | 0,99998 | 5 |
Wenn Sie den quadrierten Verlust zur Berechnung der Fehler für die Sigmoidfunktion verwendet haben,
immer näher an 0 und 1 kam, benötigen Sie mehr Speicher,
die für die Verfolgung dieser Werte erforderliche Präzision beibehalten wird.
Stattdessen lautet die Verlustfunktion bei der logistischen Regression: Logverlust: Die Die Log-Verlust-Gleichung gibt den Logarithmus der Größe der Änderung zurück, als nur die Entfernung zwischen Daten und Vorhersagen. Der logarithmische Verlust wird wie folgt berechnet: folgt:
\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)
Dabei gilt:
- \((x,y)\in D\) ist das Dataset, das viele Beispiele mit Labels enthält, die \((x,y)\) .
- \(y\) ist das Label in einem Beispiel mit Label. Da es sich um eine logistische Regression handelt, Jeder Wert von \(y\) muss entweder 0 oder 1 sein.
- \(y'\) ist die Vorhersage Ihres Modells (zwischen 0 und 1) unter Berücksichtigung des Datasets der Funktionen in \(x\).
Regularisierung in der logistischen Regression
Regularisierung, ein Mechanismus für die Komplexität des Modells beim Training zu beeinträchtigen, Regressionsmodellierung. Ohne Regularisierung ist der asymptotische Charakter der logistischen würde die Regression den Verlust weiter in Richtung 0 bringen, wenn das Modell viele Funktionen nutzen. Daher verwenden die meisten logistischen Regressionsmodelle der folgenden beiden Strategien, um die Modellkomplexität zu verringern:
- L2-Regularisierung
- Vorzeitiges Beenden: Begrenzung der Anzahl von Trainingsschritten zum Anhalten des Trainings, während der Verlust immer weniger.