Załóżmy, że masz model regresji logistycznej do wykrywania spamu i e-maili, prognozuje wartość z zakresu od 0 do 1, co przedstawia prawdopodobieństwo, że dana to spam. Prognoza na poziomie 0,50 oznacza 50% prawdopodobieństwa, że e-mail zostanie spam, szacunek 0,75 oznacza 75% prawdopodobieństwa, że e-mail to spam, i tak dalej.
Chcesz wdrożyć ten model w aplikacji poczty e-mail, aby filtrować spam
w osobnym folderze poczty. Aby to zrobić, musisz przekonwertować nieprzetworzony format modelu
dane wyjściowe liczbowe (np. 0.75) na jedną z dwóch kategorii: „spam” lub „nie
spamu”.
Aby dokonać takiej konwersji, należy wybrać wartość progową prawdopodobieństwa, tzw.
próg klasyfikacji.
Następnie przypisujemy przykłady z prawdopodobieństwem powyżej wartości progowej.
do klasy pozytywnej,
zajęcia, na których testujesz (tutaj spam). Przykłady z niższą wartością
prawdopodobieństwo jest przypisywane do klasy ujemnej,
klasę alternatywną (tutaj: not spam).
Kliknij tutaj, aby dowiedzieć się więcej o progu klasyfikacji
Być może zastanawiasz się, co się stanie, gdy prognozowany wynik będzie taki sam próg klasyfikacji (na przykład wynik 0,5, gdzie próg klasyfikacji to też 0,5)? Obsługa tego zgłoszenia zależy od konkretnej implementacji wybranej do klasyfikacji model atrybucji. Na przykład Keras prognozuje klasę ujemną, jeśli wynik i próg są takie same, ale inne narzędzia/platformy mogą poradzić sobie w tym przypadku w inny sposób.
Na przykład załóżmy, że model zdobywa jeden e-mail jako 0,99, prognozując że ten e-mail jest na 99% szans na to, że jest spamem, 0,51, oznacza to 51% prawdopodobieństwa, że wiadomość będzie spamem. Jeśli ustawisz parametr próg klasyfikacji na 0,5, model sklasyfikuje oba e-maile jako spamu. Jeśli ustawisz próg na poziomie 0,95, tylko ocena e-mail 0,99 będzie nie zostały sklasyfikowane jako spam.
Choć próg 0,5 może wydawać się intuicyjny, nie jest dobrym pomysłem, koszt jednego typu błędnej klasyfikacji jest większy od drugiego lub klas są nierówne. Jeśli tylko 0, 01% e-maili to spam lub jeśli zostały przekazane w niewłaściwy sposób wiarygodne e-maile są gorsze niż wpuszczanie spamu do skrzynki odbiorczej, oznaczanie wszystkiego, co model uzna za co najmniej 50% prawdopodobieństwa, że jest spamem; ponieważ spam daje niepożądane rezultaty.
Tablica pomyłek
wynik prawdopodobieństwa nie jest rzeczywistością lub danych podstawowych. Każdy wynik działania klasyfikatora binarnego może przynieść 4 możliwe wyniki. W przypadku przykładowego klasyfikatora spamu: jeśli przedstawisz dane podstawowe jako kolumny a prognoza modelu w postaci wierszy, tabela poniżej nosi nazwę tablica pomyłek to wynik:
| Rzeczywista wartość dodatnia | Rzeczywista wartość ujemna | |
|---|---|---|
| Prognoza dodatnia | Prawdziwie pozytywne (TP): spam. e-maile zostały prawidłowo sklasyfikowane jako spam. To są wiadomości będące spamem które automatycznie trafią do folderu spamu. | Fałszywie pozytywny wynik: e-mail niebędący spamem został błędnie sklasyfikowany jako spamu. Są to wiarygodne e-maile, trafiają do folderu ze spamem. |
| Prognozowana wartość ujemna | Fałsz negatywne (FN): spamerskie e-maile błędnie sklasyfikowane jako niebędące spamem. To jest spam które nie są przez filtr spamu i przekazują się do skrzynki odbiorczej. | Wynik prawdziwie negatywny (TN): A e-maile, które nie są spamem, zostały poprawnie sklasyfikowane jako niebędące spamem. To są prawidłowe e-maile, które są wysyłane prosto do skrzynki odbiorczej. |
Zwróć uwagę, że suma w każdym wierszu to wszystkie prognozowane wartości dodatnie (TP + FP) oraz wszystkie prognozowane wartości ujemne (FN + TN), niezależnie od tego, czy są prawidłowe. Suma w każdej z kolei daje wszystkie wyniki prawdziwie dodatnie (TP + FN) i wszystkie liczby rzeczywiste negatywne (TP + FN) (FP + TN) niezależnie od klasyfikacji modelu.
Gdy łączna liczba rzeczywistych dodatnich nie jest zbliżona do sumy wartości rzeczywistych negatywów, zbiór danych jest niezrównoważony. Instancja niezrównoważonego zbioru danych może to być zbiór tysięcy zdjęć chmur, ten rzadki typ chmury, na przykład wolutusowe chmury, pojawia się tylko kilka razy.
Wpływ progu na wyniki prawdziwie i fałszywie pozytywne i negatywne
Różne progi zazwyczaj skutkują różną liczbą wartości prawda i fałsz wyniki dodatnie i prawda i fałszywie negatywne. Ten film wyjaśnia, dlaczego tak jest tę sprawę.
Spróbuj samodzielnie zmienić próg.
Ten widżet zawiera 3 zbiory danych zabawek:
- Rozdzielone, gdzie przykłady pozytywne i negatywne są przeważnie bardzo zróżnicowane, przy czym większość pozytywnych ocen ma wyższe wyniki niż negatywnych przykładów.
- Nierozdzielone, gdzie wiele przykładów pozytywnych ma niższe wyniki niż Przykłady negatywne, a wiele przykładów ujemnych ma wyższe wyniki niż pozytywnych przykładów.
- Niezbalansowane – zawiera tylko kilka przykładów klasy pozytywnej.