Viele Probleme erfordern eine Wahrscheinlichkeitsschätzung als Ausgabe. Logistische Regression ist äußerst effizienten Mechanismus zur Berechnung von Wahrscheinlichkeiten. Praktisch Sie können die zurückgegebene Wahrscheinlichkeit also in einem der folgenden Fälle verwenden: auf zwei Arten:
„wie besehen“ angewendet wird. Wenn z. B. ein Spam-Vorhersagemodell eine E-Mail als einen Wert von
0.932ausgibt, impliziert dies eine Wahrscheinlichkeit von93.2%, die E-Mail ist Spam.In eine Binärkategorie umgewandelt wie
TrueoderFalse,SpamoderNot Spam.
In diesem Modul geht es um die Verwendung der Ausgabe des logistischen Regressionsmodells in der vorliegenden Form. Im Klassifizierungsmodul verwenden, lernen Sie, wie Sie diese Ausgabe in eine binäre Kategorie konvertieren.
Sigmoidfunktion
Sie fragen sich vielleicht, wie ein logistisches Regressionsmodell steht für eine Wahrscheinlichkeit und gibt immer einen Wert zwischen 0 und 1 aus. Wie sie gibt es eine Funktionsgruppe namens logistische Funktionen deren Ausgabe dieselben Eigenschaften aufweist. Die standardmäßige logistische Funktion, auch als das Sigmoidfunktion (Sigmoid bedeutet „s-förmig“), hat Formel:
\[f(x) = \frac{1}{1 + e^{-x}}\]
Abbildung 1 zeigt das entsprechende Diagramm der Sigmoidfunktion.
Wenn die Eingabe x zunimmt, nähert sich die Ausgabe der Sigmoidfunktion
erreicht aber nie 1. Entsprechend verringert sich bei abnehmender Eingabe das Sigmoid
Die Ausgabe der Funktion nähert sich, erreicht aber nie 0.
Klicken Sie hier, um mehr über die Mathematik zu erfahren hinter der Sigmoidfunktion
Die folgende Tabelle zeigt die Ausgabewerte der Sigmoidfunktion für im Bereich –7 bis 7. Achte darauf, wie schnell sich das Sigmoid nähert 0 für die Verringerung negativer Eingabewerte und wie schnell sich der Sigmoid nähert 1 zum Erhöhen der positiven Eingabewerte.
Unabhängig davon, wie groß oder klein der Eingabewert ist, immer größer als 0 und kleiner als 1 sein.
| Eingabe | Sigmoidausgabe |
|---|---|
| -7 | 0,001 |
| -6 | 0,002 |
| -5 | 0,007 |
| -4 | 0,018 |
| -3 | 0,047 |
| -2 | 0,119 |
| -1 | 0,269 |
| 0 | 0,50 |
| 1 | 0,731 |
| 2 | 0,881 |
| 3 | 0,952 |
| 4 | 0,982 |
| 5 | 0,993 |
| 6 | 0,997 |
| 7 | 0,999 |
Lineare Ausgabe mit der Sigmoidfunktion transformieren
Die folgende Gleichung stellt die lineare Komponente einer logistischen Regressionsmodells:
\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]
Dabei gilt:
- z ist die Ausgabe der linearen Gleichung, die auch als protokolliere die Chancen.
- b ist die Verzerrung.
- Die w-Werte sind die erlernten Gewichtungen des Modells.
- Die x-Werte sind die Featurewerte für ein bestimmtes Beispiel.
Um die Vorhersage der logistischen Regression zu erhalten, wird der z-Wert Sigmoidfunktion, die einen Wert (eine Wahrscheinlichkeit) zwischen 0 und 1 ergibt:
\[y' = \frac{1}{1 + e^{-z}}\]
Dabei gilt:
- y' ist die Ausgabe des logistischen Regressionsmodells.
- z ist die lineare Ausgabe, wie in der vorstehenden Gleichung berechnet.
Klicken Sie hier, um mehr über die Logwahrscheinlichkeiten
In der Gleichung $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z wird als Log-Wahrscheinlichkeit bezeichnet. Wenn Sie mit Sigmoidfunktion (wobei $y$ die Ausgabe einer logistischen Regressionsmodell, das eine Wahrscheinlichkeit darstellt):
$$y = \frac{1}{1 + e^{-z}}$$
Dann geben Sie z ein:
$$ z = \log\left(\frac{y}{1-y}\right) $$
Dann wird z als Log des Verhältnisses der Wahrscheinlichkeiten definiert. der beiden möglichen Ergebnisse: y und 1 – y.
Abbildung 2 zeigt, wie die lineare Ausgabe in eine logistische Regression umgewandelt wird. mit diesen Berechnungen ausgeben.
In Abbildung 2 wird eine lineare Gleichung zur Eingabe für die Sigmoidfunktion. das die gerade Linie in eine s-Form krümmt. Beachten Sie, dass die lineare Gleichung kann sehr große oder sehr kleine z-Werte ausgeben, aber die Ausgabe des Sigmoids liegt immer zwischen 0 und 1 (ausschließlich). Zum Beispiel wird die Orange hat das Rechteck im linken Diagramm einen z-Wert von -10, aber die Sigmoidfunktion in der rechte Grafik bildet -10 in ein y' ab. Wert 0,00004.
Übung: Wissenstest
Ein logistisches Regressionsmodell mit drei Merkmalen hat die folgende Verzerrung und Gewichtungen:
\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]
Ausgehend von den folgenden Eingabewerten:
\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]
Beantworten Sie die folgenden beiden Fragen.
Wie in Schritt 1 oben berechnet, beträgt die Logwahrscheinlichkeit für die Eingabewerte 1. Fügen Sie diesen Wert für z in die Sigmoidfunktion ein:
\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)