Wiele problemów wymaga oszacowania prawdopodobieństwa jako danych wyjściowych. Regresja logistyczna to niezwykle skuteczny mechanizm obliczania prawdopodobieństwa. Praktycznie mówiąc, możesz użyć zwróconego prawdopodobieństwa w dowolnym z poniższych na dwa sposoby:
Stosowane „w takim stanie, w jakim jest”. Jeśli na przykład model prognozowania spamu traktuje e-maile jako zwraca wartość
0.932
, co oznacza prawdopodobieństwo93.2%
, że e-mail to spam.Przekonwertowano na kategorię binarną na przykład
True
lubFalse
,Spam
lubNot Spam
.
W tym module dowiesz się, jak używać danych wyjściowych modelu regresji logistycznej w niezmienionej formie. W z modułu klasyfikacji, dowiesz się, przekształcenia tych danych wyjściowych w kategorię binarną.
Funkcja sigmoid
Możesz się zastanawiać, jak model regresji logistycznej może zapewnić wynik reprezentuje prawdopodobieństwo, zawsze zwraca wartość z zakresu od 0 do 1. Na podstawie występuje rodzina funkcji nazywanych funkcjami logistycznymi których dane wyjściowe mają te same cechy. Standardowa funkcja logistyczna, znany także jako funkcja sigmoid (sigmoid oznacza „w kształcie litery s”), ma wzór:
\[f(x) = \frac{1}{1 + e^{-x}}\]
Rysunek 1 przedstawia odpowiedni wykres funkcji sigmoidalnej.
W miarę jak dane wejściowe (x
) rosną, a wynik funkcji sigmoidalnej zbliża się do końca
ale nigdy nie dociera do: 1
. I podobnie, gdy dane wejściowe maleją, sigmoida
dane wyjściowe funkcji zbliżają się do wyników, ale nigdy nie osiągają 0
.
Kliknij tutaj, aby lepiej poznać matematykę za funkcją sigmoidalną
Tabela poniżej przedstawia wartości wyjściowe funkcji sigmoidalnej dla wartości wejściowe z zakresu od –7 do 7. Zwróć uwagę, jak szybko zbliża się krzywa sigmoidalna 0 – zmniejszanie ujemnej wartości wejściowej i szybkość zbliżania się do sigmoidy 1 – zwiększanie dodatnich wartości wejściowych.
Niezależnie od tego, jak duża czy mała wartość wejściowa, dane wyjściowe będą zawsze muszą być większe od 0 i mniejsze od 1.
Dane wejściowe | Dane wyjściowe sigmoid |
---|---|
-7 | 0,001 |
-6 | 0,002 |
-5 | 0,007 |
-4 | 0,018 |
-3 | 0,047 |
-2 | 0,119 |
-1 | 0,269 |
0 | 0,50 |
1 | 0,731 |
2 | 0,881 |
3 | 0,952 |
4 | 0,982 |
5 | 0,993 |
6 | 0,997 |
7 | 0,999 |
Przekształcanie danych wyjściowych w linii przy użyciu funkcji sigmoidalnej
Poniższy równanie przedstawia składnik liniowy funkcji logistycznej model regresji:
\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]
gdzie:
- z to wynik równania liniowego, nazywanego również zarejestruj prawdopodobieństwo.
- b oznacza uprzedzenia.
- Wartości w to wartości zapamiętane przez model.
- Wartości x to wartości cech z konkretnego przykładu.
Aby otrzymać prognozę dotyczącą regresji logistycznej, wartość z jest następnie przekazywana do funkcji funkcję sigmoidalną zwracającą wartość (prawdopodobieństwo) z zakresu od 0 do 1:
\[y' = \frac{1}{1 + e^{-z}}\]
gdzie:
- y to dane wyjściowe modelu regresji logistycznej.
- z to wynik liniowy (obliczony według wcześniejszego równania).
Kliknij tutaj, aby dowiedzieć się więcej log-odds
W równaniu $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z jest nazywany log-odds, ponieważ jeśli zaczynasz od następujący po funkcji sigmoidalnej (gdzie $y$ to wynik funkcji logistycznej model regresji reprezentujący prawdopodobieństwo):
$$y = \frac{1}{1 + e^{-z}}$$
Następnie oblicz równanie z:
$$ z = \log\left(\frac{y}{1-y}\right) $$
Następnie z jest definiowany jako log współczynnika prawdopodobieństw. z 2 możliwych wyników: y i 1 – y.
Rysunek 2 ilustruje, jak linearne dane wyjściowe są przekształcane w regresję logistyczną o wygenerowany przez nas wynik.
Na rys. 2 równanie liniowe staje się danymi wejściowymi dla funkcji sigmoidalnej, zagina linię prostą w kształt litery s. Zwróć uwagę, że równanie liniowe może zwrócić bardzo duże lub bardzo małe wartości Z, ale wynik sigmoidy funkcja „y”, zawsze mieści się w zakresie od 0 do 1 wyłącznie. Na przykład pomarańczowy prostokąta na wykresie po lewej stronie ma wartość Z wynoszącą -10, ale funkcja sigmoidalna w wykres po prawej stronie mapuje dane -10 na y' o wartości 0,00004.
Ćwiczenie: sprawdź swoją wiedzę
Model regresji logistycznej z 3 cechami ma następujące odchylenia wagi:
\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]
Biorąc pod uwagę te wartości wejściowe:
\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]
Odpowiedz na 2 pytania poniżej.
Jak obliczyliśmy w punkcie 1 powyżej, prawdopodobieństwo logarytmicznej wartości wejściowej wynosi 1. Ujęcie wartości z do funkcji sigmoidalnej:
\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)