Regresja logistyczna: obliczanie prawdopodobieństwa za pomocą funkcji sigmoidalnej

Wiele problemów wymaga oszacowania prawdopodobieństwa jako danych wyjściowych. Regresja logistyczna to niezwykle skuteczny mechanizm obliczania prawdopodobieństwa. Praktycznie mówiąc, możesz użyć zwróconego prawdopodobieństwa w dowolnym z poniższych na dwa sposoby:

• Stosowane „w takim stanie, w jakim jest”. Jeśli na przykład model prognozowania spamu traktuje e-maile jako zwraca wartość 0.932, co oznacza prawdopodobieństwo 93.2%, że e-mail to spam.

• Przekonwertowano na kategorię binarną na przykład True lub False, Spam lub Not Spam.

W tym module dowiesz się, jak używać danych wyjściowych modelu regresji logistycznej w niezmienionej formie. W z modułu klasyfikacji, dowiesz się, przekształcenia tych danych wyjściowych w kategorię binarną.

Funkcja sigmoid

Możesz się zastanawiać, jak model regresji logistycznej może zapewnić wynik reprezentuje prawdopodobieństwo, zawsze zwraca wartość z zakresu od 0 do 1. Na podstawie występuje rodzina funkcji nazywanych funkcjami logistycznymi których dane wyjściowe mają te same cechy. Standardowa funkcja logistyczna, znany także jako funkcja sigmoid (sigmoid oznacza „w kształcie litery s”), ma wzór:

\[f(x) = \frac{1}{1 + e^{-x}}\]

Rysunek 1 przedstawia odpowiedni wykres funkcji sigmoidalnej.

Rysunek 1. Wykres funkcji sigmoidalnej. Krzywa zbliża się do 0 gdy wartości x maleją do nieskończoności ujemnej i 1 jako x rosną ku nieskończoności.

W miarę jak dane wejściowe (x) rosną, a wynik funkcji sigmoidalnej zbliża się do końca ale nigdy nie dociera do: 1. I podobnie, gdy dane wejściowe maleją, sigmoida dane wyjściowe funkcji zbliżają się do wyników, ale nigdy nie osiągają 0.

Kliknij tutaj, aby lepiej poznać matematykę za funkcją sigmoidalną

Tabela poniżej przedstawia wartości wyjściowe funkcji sigmoidalnej dla wartości wejściowe z zakresu od –7 do 7. Zwróć uwagę, jak szybko zbliża się krzywa sigmoidalna 0 – zmniejszanie ujemnej wartości wejściowej i szybkość zbliżania się do sigmoidy 1 – zwiększanie dodatnich wartości wejściowych.

Niezależnie od tego, jak duża czy mała wartość wejściowa, dane wyjściowe będą zawsze muszą być większe od 0 i mniejsze od 1.

Dane wejściowe	Dane wyjściowe sigmoid
-7	0,001
-6	0,002
-5	0,007
-4	0,018
-3	0,047
-2	0,119
-1	0,269
0	0,50
1	0,731
2	0,881
3	0,952
4	0,982
5	0,993
6	0,997
7	0,999

Przekształcanie danych wyjściowych w linii przy użyciu funkcji sigmoidalnej

Poniższy równanie przedstawia składnik liniowy funkcji logistycznej model regresji:

\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]

gdzie:

• z to wynik równania liniowego, nazywanego również zarejestruj prawdopodobieństwo.
• b oznacza uprzedzenia.
• Wartości w to wartości zapamiętane przez model.
• Wartości x to wartości cech z konkretnego przykładu.

Aby otrzymać prognozę dotyczącą regresji logistycznej, wartość z jest następnie przekazywana do funkcji funkcję sigmoidalną zwracającą wartość (prawdopodobieństwo) z zakresu od 0 do 1:

\[y' = \frac{1}{1 + e^{-z}}\]

gdzie:

• y to dane wyjściowe modelu regresji logistycznej.
• z to wynik liniowy (obliczony według wcześniejszego równania).

Kliknij tutaj, aby dowiedzieć się więcej log-odds

W równaniu $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z jest nazywany log-odds, ponieważ jeśli zaczynasz od następujący po funkcji sigmoidalnej (gdzie $y$ to wynik funkcji logistycznej model regresji reprezentujący prawdopodobieństwo):

$$y = \frac{1}{1 + e^{-z}}$$

Następnie oblicz równanie z:

$$ z = \log\left(\frac{y}{1-y}\right) $$

Następnie z jest definiowany jako log współczynnika prawdopodobieństw. z 2 możliwych wyników: y i 1 – y.

Rysunek 2 ilustruje, jak linearne dane wyjściowe są przekształcane w regresję logistyczną o wygenerowany przez nas wynik.

Rysunek 2. Po lewej: wykres funkcji liniowej Z = 2x + 5, gdzie są trzy punktów. Po prawej: krzywa sigmoidalna z tymi samymi 3 punktami podświetlony po przekształceniu przez funkcję sigmoidalną.

Na rys. 2 równanie liniowe staje się danymi wejściowymi dla funkcji sigmoidalnej, zagina linię prostą w kształt litery s. Zwróć uwagę, że równanie liniowe może zwrócić bardzo duże lub bardzo małe wartości Z, ale wynik sigmoidy funkcja „y”, zawsze mieści się w zakresie od 0 do 1 wyłącznie. Na przykład pomarańczowy prostokąta na wykresie po lewej stronie ma wartość Z wynoszącą -10, ale funkcja sigmoidalna w wykres po prawej stronie mapuje dane -10 na y' o wartości 0,00004.

Ćwiczenie: sprawdź swoją wiedzę

Model regresji logistycznej z 3 cechami ma następujące odchylenia wagi:

\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]

Biorąc pod uwagę te wartości wejściowe:

\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]

Odpowiedz na 2 pytania poniżej.

1. Jaka jest wartość z dla tych wartości wejściowych?

–1

0

0,731

1

Dobrze! Równanie liniowe zdefiniowane przez wagi i odchylenie to z = 1 + 2x₁ – x₂ + 5 x₃. Podłączenie wartości wejściowe do równania daje z = 1 + (2)(0) - (10) + (5)(2) = 1

2. Jaka jest prognoza regresji logistycznej dla tych wartości wejściowych?

0,268

0,5

0,731

Jak obliczyliśmy w punkcie 1 powyżej, prawdopodobieństwo logarytmicznej wartości wejściowej wynosi 1. Ujęcie wartości z do funkcji sigmoidalnej:

\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)

1

Pamiętaj, że wynikiem funkcji sigmoidalnej będzie zawsze większe niż 0 i mniejsze niż 1.

Kluczowe terminy:

• Klasyfikacja plików binarnych
• Zapisz prawdopodobieństwo
• Regresja logistyczna
• Funkcja sigmoid