Zamiast przewidywania dokładnie 0 lub 1, regresja logistyczna generuje prawdopodobieństwo – o wartości między 0 a 1 (wyłącznie). Rozważ na przykład model regresji logistycznej do wykrywania spamu. Jeśli model przyjmuje wartość 0,932 w przypadku określonego e-maila, oznacza to, że prawdopodobieństwo 93,2% wskazuje, że e-mail jest spamem. Mówiąc dokładniej, oznacza to, że w ramach limitu nieskończonych przykładów treningowych model, który przewiduje, że model będzie mieć wartość 0,932, będzie w 93,2% przypadków, a pozostałe 6,8% nie.
Regresja logistyczna
Przewidywanie monet?
- Wyobraź sobie problem przewidywania prawdopodobieństwa głowicy do wygiętych monet
- Możesz użyć takich funkcji jak kąt wyginięcia, masa monet itp.
- Jakiego prostego modelu możesz użyć?
- Co może pójść nie tak?
Regresja logistyczna
- Wiele problemów wymaga podania wartości szacunkowej jako danych wyjściowych
- Wpisz regresję logiczną.
Regresja logistyczna
- Wiele problemów wymaga podania wartości szacunkowej jako danych wyjściowych
- Wpisz regresję logiczną.
- Przydatne, ponieważ szacunkowe prawdopodobieństwo jest skalibrowane
- np. p(domowa sprzedaż) * cena = oczekiwany wynik
Regresja logistyczna
- Wiele problemów wymaga podania wartości szacunkowej jako danych wyjściowych
- Wpisz regresję logiczną.
- Przydatne, ponieważ szacunkowe prawdopodobieństwo jest skalibrowane
- np. p(domowa sprzedaż) * cena = oczekiwany wynik
- Przydaje się też, gdy klasyfikacja binarna jest potrzebna.
- czy nie spam? → p(Spam)
Regresja logistyczna – prognozy
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
Zdefiniowano logi utraty
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
Regresja logistyczna i regularizacja
- Regularność regresji jest bardzo ważna dla regresji logicznej.
- Zapamiętaj asymptoty
- Nadal będzie dążyć do utraty strat do 0 w wysokich wymiarach
Regresja logistyczna i regularizacja
- Regularność regresji jest bardzo ważna dla regresji logicznej.
- Zapamiętaj asymptoty
- Nadal będzie dążyć do utraty strat do 0 w wysokich wymiarach
- Szczególnie przydatne są dwie strategie:
- Zwalczanie wagi 2 (tzw. spadek wagi L2) – wprowadza kary.
- Wcześniejsze zatrzymywanie – ograniczanie kroków treningowych lub współczynnika uczenia się.
Regresja liniowa logistyki
- Regresja liniowa logistyczna jest bardzo skuteczna.
- Bardzo szybkie czasy trenowania i prognozowania.
- Krótkie / szerokie modele wykorzystują dużo pamięci RAM.