Regresja logistyczna: obliczanie prawdopodobieństwa za pomocą funkcji sigmoidalnej

Wiele zadań wymaga podania w wyniku oszacowania prawdopodobieństwa. Regresja logistyczna to niezwykle skuteczny mechanizm obliczania prawdopodobieństwa. W praktyce możesz użyć zwróconego prawdopodobieństwa na jeden z tych 2 sposobów:

  • Zastosowanie „takie, jakie jest”. Jeśli na przykład model prognozowania spamu traktuje e-maile jako zwraca wartość 0.932, co oznacza prawdopodobieństwo 93.2%, że e-mail to spam.

  • Przekonwertowano na kategorię binarną na przykład True lub False, Spam lub Not Spam.

W tym module dowiesz się, jak używać danych wyjściowych modelu regresji logistycznej w niezmienionej formie. W z modułu klasyfikacji, dowiesz się, przekształcenia tych danych wyjściowych w kategorię binarną.

Funkcja sigmoid

Możesz się zastanawiać, jak model regresji logistycznej może zapewnić wynik reprezentuje prawdopodobieństwo, zawsze zwraca wartość z zakresu od 0 do 1. Istnieje rodzina funkcji zwanych funkcjami logistycznymi, których wyniki mają te same właściwości. Standardowa funkcja logistyczna, zwana też funkcją sigmoidalną (sigmoidalna oznacza „w kształcie litery S”), ma tę formułę:

f(x)=11+ex

Rysunek 1 przedstawia odpowiedni wykres funkcji sigmoidalnej.

Krzywa sigmoidalna (w kształcie litery s) naniesiona na kartezjańskiej płaszczyźnie współrzędnych
         jest wyśrodkowany na punkcie początkowym.
Rysunek 1. Wykres funkcji sigmoidalnej Krzywa zbliża się do 0 gdy wartości x maleją do nieskończoności ujemnej i 1 jako x rosną ku nieskończoności.

W miarę jak dane wejściowe (x) rosną, a wynik funkcji sigmoidalnej zbliża się do końca ale nigdy nie dociera do: 1. Podobnie, gdy wartość wejściowa maleje, wartość wyjściowa funkcji sigmoidalnej zbliża się do 0, ale nigdy jej nie osiąga.

Tabela poniżej zawiera wartości wyjściowe funkcji sigmoidalnej dla wartości wejściowych z zakresu –7 do 7. Zauważ, jak szybko funkcja sigmoidalna zbliża się do 0 w przypadku malejących wartości ujemnych i jak szybko zbliża się do 1 w przypadku rosnących wartości dodatnich.

Niezależnie od tego, jak duża czy mała wartość wejściowa, dane wyjściowe będą zawsze muszą być większe od 0 i mniejsze od 1.

Dane wejściowe Wyjście sigmoidalne
-7 0,001
-6 0,002
-5 0,007
-4 0,018
-3 0,047
-2 0.119
-1 0,269
0 0,50
1 0,731
2 0,881
3 0,952
4 0,982
5 0,993
6 0,997
7 0,999

Przekształcanie danych wyjściowych w linii przy użyciu funkcji sigmoidalnej

Poniższe równanie reprezentuje komponent liniowy modelu regresji logistycznej:

z=b+w1x1+w2x2++wNxN

gdzie:

  • z to wynik równania liniowego, zwany też logarytmicznym prawdopodobieństwem.
  • b to uprzedzenie.
  • Wartości w to wartości zapamiętane przez model.
  • Wartości x to wartości cech w przypadku konkretnego przykładu.

Aby otrzymać prognozę dotyczącą regresji logistycznej, wartość z jest następnie przekazywana do funkcji funkcję sigmoidalną zwracającą wartość (prawdopodobieństwo) z zakresu od 0 do 1:

y=11+ez

gdzie:

  • y' to dane wyjściowe modelu regresji logistycznej.
  • z to wyjście liniowe (obliczone w poprzednim równaniu).

W równaniu z=b+w1x1+w2x2++wNxN, z jest nazywany log-odds, ponieważ jeśli zaczynasz od następujący po funkcji sigmoidalnej (gdzie y to wynik funkcji logistycznej model regresji reprezentujący prawdopodobieństwo):

y=11+ez

Następnie znajdź wartość z:

z=log(y1y)

Następnie z jest definiowany jako log współczynnika prawdopodobieństw. z 2 możliwych wyników: y i 1 – y.

Rysunek 2 ilustruje, jak linearne dane wyjściowe są przekształcane w regresję logistyczną o wygenerowany przez nas wynik.

Lewa: linia z punktami (-7,5, –10), (-2,5, 0) i (0, 5)
         wyróżniona. Po prawej: krzywa sigmoidalna z odpowiednią przekształconą
         punkty (-10, 0,00004), (0, 0,5) i (5, 0,9933).
Rysunek 2. Po lewej: wykres funkcji liniowej Z = 2x + 5, gdzie są trzy punktów. Po prawej stronie: krzywa sigmoidalna z tymi samymi trzema punktami, które zostały wyróżnione po przekształceniu przez funkcję sigmoidalną.

Na rys. 2 równanie liniowe staje się danymi wejściowymi dla funkcji sigmoidalnej, zagina linię prostą w kształt litery s. Zwróć uwagę, że równanie liniowe może zwracać bardzo duże lub bardzo małe wartości z, ale wartość zwracana przez funkcję sigmoidalną, y', zawsze mieści się w zakresie od 0 do 1. Na przykład żółty kwadrat na wykresie po lewej stronie ma wartość z równą –10, ale funkcja sigmoidalna na wykresie po prawej stronie mapuje tę wartość na wartość y równą 0,00004.

Ćwiczenie: sprawdź swoją wiedzę

Model regresji logistycznej z 3 cechami ma takie wartości uśrednienia i wag:

b=1w1=2w2=1w3=5

Biorąc pod uwagę te wartości wejściowe:

x1=0x2=10x3=2

Odpowiedz na te 2 pytania.

1. Jaka jest wartość z dla tych wartości wejściowych?
–1
0
0,731
1
2. Jaka jest prognoza regresji logistycznej dla tych wartości wejściowych?
0,268
0,5
0,731
1