Regresja logistyczna: obliczanie prawdopodobieństwa za pomocą funkcji sigmoidalnej

Wiele zadań wymaga podania w wyniku oszacowania prawdopodobieństwa. Regresja logistyczna to niezwykle skuteczny mechanizm obliczania prawdopodobieństwa. W praktyce możesz użyć zwróconego prawdopodobieństwa na jeden z tych 2 sposobów:

• Zastosowanie „takie, jakie jest”. Jeśli na przykład model prognozowania spamu traktuje e-maile jako zwraca wartość 0.932, co oznacza prawdopodobieństwo 93.2%, że e-mail to spam.

• Przekonwertowano na kategorię binarną na przykład True lub False, Spam lub Not Spam.

W tym module dowiesz się, jak używać danych wyjściowych modelu regresji logistycznej w niezmienionej formie. W z modułu klasyfikacji, dowiesz się, przekształcenia tych danych wyjściowych w kategorię binarną.

Funkcja sigmoid

Możesz się zastanawiać, jak model regresji logistycznej może zapewnić wynik reprezentuje prawdopodobieństwo, zawsze zwraca wartość z zakresu od 0 do 1. Istnieje rodzina funkcji zwanych funkcjami logistycznymi, których wyniki mają te same właściwości. Standardowa funkcja logistyczna, zwana też funkcją sigmoidalną (sigmoidalna oznacza „w kształcie litery S”), ma tę formułę:

\[f(x) = \frac{1}{1 + e^{-x}}\]

Rysunek 1 przedstawia odpowiedni wykres funkcji sigmoidalnej.

Rysunek 1. Wykres funkcji sigmoidalnej Krzywa zbliża się do 0 gdy wartości x maleją do nieskończoności ujemnej i 1 jako x rosną ku nieskończoności.

W miarę jak dane wejściowe (x) rosną, a wynik funkcji sigmoidalnej zbliża się do końca ale nigdy nie dociera do: 1. Podobnie, gdy wartość wejściowa maleje, wartość wyjściowa funkcji sigmoidalnej zbliża się do 0, ale nigdy jej nie osiąga.

Kliknij tutaj, aby lepiej poznać matematykę za funkcją sigmoidalną

Tabela poniżej zawiera wartości wyjściowe funkcji sigmoidalnej dla wartości wejściowych z zakresu –7 do 7. Zauważ, jak szybko funkcja sigmoidalna zbliża się do 0 w przypadku malejących wartości ujemnych i jak szybko zbliża się do 1 w przypadku rosnących wartości dodatnich.

Niezależnie od tego, jak duża czy mała wartość wejściowa, dane wyjściowe będą zawsze muszą być większe od 0 i mniejsze od 1.

Dane wejściowe	Wyjście sigmoidalne
-7	0,001
-6	0,002
-5	0,007
-4	0,018
-3	0,047
-2	0.119
-1	0,269
0	0,50
1	0,731
2	0,881
3	0,952
4	0,982
5	0,993
6	0,997
7	0,999

Przekształcanie danych wyjściowych w linii przy użyciu funkcji sigmoidalnej

Poniższe równanie reprezentuje komponent liniowy modelu regresji logistycznej:

\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]

gdzie:

• z to wynik równania liniowego, zwany też logarytmicznym prawdopodobieństwem.
• b to uprzedzenie.
• Wartości w to wartości zapamiętane przez model.
• Wartości x to wartości cech w przypadku konkretnego przykładu.

Aby otrzymać prognozę dotyczącą regresji logistycznej, wartość z jest następnie przekazywana do funkcji funkcję sigmoidalną zwracającą wartość (prawdopodobieństwo) z zakresu od 0 do 1:

\[y' = \frac{1}{1 + e^{-z}}\]

gdzie:

• y' to dane wyjściowe modelu regresji logistycznej.
• z to wyjście liniowe (obliczone w poprzednim równaniu).

Kliknij tutaj, aby dowiedzieć się więcej log-odds

W równaniu $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z jest nazywany log-odds, ponieważ jeśli zaczynasz od następujący po funkcji sigmoidalnej (gdzie $y$ to wynik funkcji logistycznej model regresji reprezentujący prawdopodobieństwo):

$$y = \frac{1}{1 + e^{-z}}$$

Następnie znajdź wartość z:

$$ z = \log\left(\frac{y}{1-y}\right) $$

Następnie z jest definiowany jako log współczynnika prawdopodobieństw. z 2 możliwych wyników: y i 1 – y.

Rysunek 2 ilustruje, jak linearne dane wyjściowe są przekształcane w regresję logistyczną o wygenerowany przez nas wynik.

Rysunek 2. Po lewej: wykres funkcji liniowej Z = 2x + 5, gdzie są trzy punktów. Po prawej stronie: krzywa sigmoidalna z tymi samymi trzema punktami, które zostały wyróżnione po przekształceniu przez funkcję sigmoidalną.

Na rys. 2 równanie liniowe staje się danymi wejściowymi dla funkcji sigmoidalnej, zagina linię prostą w kształt litery s. Zwróć uwagę, że równanie liniowe może zwracać bardzo duże lub bardzo małe wartości z, ale wartość zwracana przez funkcję sigmoidalną, y', zawsze mieści się w zakresie od 0 do 1. Na przykład żółty kwadrat na wykresie po lewej stronie ma wartość z równą –10, ale funkcja sigmoidalna na wykresie po prawej stronie mapuje tę wartość na wartość y równą 0,00004.

Ćwiczenie: sprawdź swoją wiedzę

Model regresji logistycznej z 3 cechami ma takie wartości uśrednienia i wag:

\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]

Biorąc pod uwagę te wartości wejściowe:

\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]

Odpowiedz na te 2 pytania.

1. Jaka jest wartość z dla tych wartości wejściowych?

–1

0

0,731

1

Dobrze! Równanie liniowe zdefiniowane przez wagi i uśrednione wartości błędów to z = 1 + 2x₁ – x₂ + 5 x₃. Po podstawieniu wartości wejściowych do równania otrzymujemy z = 1 + (2)(0) – (10) + (5)(2) = 1.

2. Jaka jest prognoza regresji logistycznej dla tych wartości wejściowych?

0,268

0,5

0,731

Jak obliczyliśmy w punkcie 1 powyżej, prawdopodobieństwo logarytmicznej wartości wejściowej wynosi 1. Ujęcie wartości z do funkcji sigmoidalnej:

\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)

1

Pamiętaj, że wynikiem funkcji sigmoidalnej będzie zawsze większe niż 0 i mniejsze niż 1.

Kluczowe terminy:

• Klasyfikacja binarna
• Logarytmiczna funkcja prawdopodobieństwa
• Regresja logistyczna
• Funkcja sigmoid