Logistische Regression: Berechnung einer Wahrscheinlichkeit mit der Sigmoidfunktion

Viele Probleme erfordern eine Wahrscheinlichkeitsschätzung als Ausgabe. Logistische Regression ist äußerst effizienten Mechanismus zur Berechnung von Wahrscheinlichkeiten. Sie können die zurückgegebene Wahrscheinlichkeit auf zwei Arten verwenden:

• „wie besehen“ angewendet wird. Wenn z. B. ein Spam-Vorhersagemodell eine E-Mail als einen Wert von 0.932 ausgibt, impliziert dies eine Wahrscheinlichkeit von 93.2%, die E-Mail ist Spam.

• In eine binäre Kategorie umgewandelt, z. B. True oder False, Spam oder Not Spam.

In diesem Modul geht es um die Verwendung der Ausgabe des logistischen Regressionsmodells in der vorliegenden Form. Im Klassifizierungsmodul verwenden, lernen Sie, wie Sie diese Ausgabe in eine binäre Kategorie konvertieren.

Sigmoidfunktion

Sie fragen sich vielleicht, wie ein logistisches Regressionsmodell dafür sorgen kann, dass seine Ausgabe immer einen Wert zwischen 0 und 1 darstellt, der eine Wahrscheinlichkeit darstellt. Es gibt eine Funktionsfamilie namens Logistische Funktionen, deren Ausgabe diese Eigenschaften hat. Die standardmäßige logistische Funktion, auch als das Sigmoidfunktion (Sigmoid bedeutet „s-förmig“), hat Formel:

\[f(x) = \frac{1}{1 + e^{-x}}\]

Abbildung 1 zeigt das entsprechende Diagramm der Sigmoidfunktion.

Abbildung 1. Grafik der Sigmoidfunktion. Die Kurve nähert sich 0 wenn die x-Werte in negativ unendlich sinken und 1 als x wird steigen in Richtung Unendlichkeit.

Wenn die Eingabe x zunimmt, nähert sich die Ausgabe der Sigmoidfunktion erreicht aber nie 1. Wenn die Eingabe sinkt, nähert sich die Ausgabe der Sigmoidfunktion 0, erreicht sie aber nie.

Weitere Informationen zur Mathematik hinter der Sigmoidfunktion

Die folgende Tabelle zeigt die Ausgabewerte der Sigmoidfunktion für im Bereich –7 bis 7. Beachten Sie, wie schnell die Sigmoide bei abnehmenden negativen Eingabewerten 0 und bei zunehmenden positiven Eingabewerten 1 annähert.

Unabhängig davon, wie groß oder klein der Eingabewert ist, ist das Ergebnis immer größer als 0 und kleiner als 1.

Eingabe	Sigmoidausgabe
-7	0,001
-6	0,002
-5	0,007
-4	0,018
-3	0,047
-2	0,119
-1	0,269
0	0,50
1	0,731
2	0,881
3	0,952
4	0,982
5	0,993
6	0,997
7	0,999

Lineare Ausgabe mit der Sigmoidfunktion transformieren

Die folgende Gleichung stellt die lineare Komponente eines logistischen Regressionsmodells dar:

\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]

Dabei gilt:

• z ist die Ausgabe der linearen Gleichung, die auch als protokolliere die Chancen.
• b ist die Voreingenommenheit.
• Die w-Werte sind die gelernten Gewichte des Modells.
• Die x-Werte sind die Feature-Werte für ein bestimmtes Beispiel.

Um die Vorhersage der logistischen Regression zu erhalten, wird der z-Wert Sigmoidfunktion, die einen Wert (eine Wahrscheinlichkeit) zwischen 0 und 1 ergibt:

\[y' = \frac{1}{1 + e^{-z}}\]

Dabei gilt:

• y' ist die Ausgabe des logistischen Regressionsmodells.
• z ist die lineare Ausgabe, wie in der vorstehenden Gleichung berechnet.

Klicken Sie hier, um mehr über die Logwahrscheinlichkeiten

In der Gleichung $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$ wird z als Log-Odds-Ratio bezeichnet. Wenn Sie mit der folgenden Sigmoidfunktion beginnen (wobei $y$ die Ausgabe eines Logistikregressionsmodells ist, das eine Wahrscheinlichkeit darstellt):

$$y = \frac{1}{1 + e^{-z}}$$

Und dann nach z auflösen:

$$ z = \log\left(\frac{y}{1-y}\right) $$

Dann wird z als Logarithmus des Verhältnisses der Wahrscheinlichkeiten der beiden möglichen Ergebnisse definiert: y und 1 – y.

Abbildung 2 zeigt, wie die lineare Ausgabe in eine logistische Regression umgewandelt wird. mit diesen Berechnungen ausgeben.

Abbildung 2. Links: Graph der linearen Funktion z = 2x + 5, wobei drei Punkte markiert. Rechts: Sigmoidkurve mit denselben drei Punkten, die nach der Transformation durch die Sigmoidfunktion hervorgehoben sind.

In Abbildung 2 wird eine lineare Gleichung zur Eingabe für die Sigmoidfunktion. das die gerade Linie in eine s-Form krümmt. Beachten Sie, dass die lineare Gleichung kann sehr große oder sehr kleine z-Werte ausgeben, aber die Ausgabe des Sigmoids liegt immer zwischen 0 und 1 (ausschließlich). Das gelbe Symbol Quadrat im linken Diagramm hat einen z-Wert von –10, aber die Sigmoidfunktion in der in der rechten Grafik abbildet, dass -10 in ein y' Wert 0,00004.

Übung: Wissen testen

Ein logistisches Regressionsmodell mit drei Merkmalen hat die folgenden Voreingenommenheiten und Gewichtungen:

\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]

Ausgehend von den folgenden Eingabewerten:

\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]

Beantworten Sie die folgenden beiden Fragen.

1. Wie lautet der Wert von z für diese Eingabewerte?

–1

0

0,731

1

Richtig! Die lineare Gleichung, die durch die Gewichte und den Bias definiert ist, lautet: z = 1 + 2 x₁ – x₂ + 5 x₃. Anschließen des Die Eingabewerte in die Gleichung ergeben z = 1 + (2)(0) - (10) + (5)(2) = 1

2. Wie lautet die Vorhersage der logistischen Regression für diese Eingabewerte?

0,268

0,5

0,731

Wie in Punkt 1 oben berechnet, ist die Log-Wahrscheinlichkeit für die Eingabewerte 1. Wenn wir diesen Wert für z in die Sigmoidfunktion einfügen, erhalten wir:

\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)

1

Denken Sie daran, dass die Ausgabe der Sigmoidfunktion immer größer als 0 und kleiner als 1 ist.

Wichtige Begriffe:

• Binäre Klassifizierung
• Wahrscheinlichkeit protokollieren
• Logistische Regression
• Sigmoidfunktion