Precyzja
Usługa Precyzja próbuje odpowiedzieć na to pytanie:
Jaki odsetek ocen pozytywnych był w tym przypadku prawidłowy?
Precyzja jest zdefiniowana w następujący sposób:
Obliczmy precyzję modelu systemów uczących się z poprzedniej sekcji, która analizuje guzy:
Rzeczywiste pozytywne (TP): 1 | Fałszywy wynik (FP): 1 |
Fałszywe wyniki negatywne: 8 | Prawda i fałsz: 90 |
Nasz model ma precyzję 0,5.Innymi słowy, gdy przewiduje, że guz jest złośliwy, jest poprawny w 50% przypadków.
Czułość
Rozpoznawalność próbuje odpowiedzieć na to pytanie:
Odsetek rzeczywistych pozytywnych wyników został poprawnie zidentyfikowany.
Matematyka jest określana w ten sposób:
Obliczmy rozpoznawalność naszego klasyfikatora nowotworów:
Rzeczywiste pozytywne (TP): 1 | Fałszywy wynik (FP): 1 |
Fałszywe wyniki negatywne: 8 | Prawda i fałsz: 90 |
Model ma rozpoznawalność 0,11.Oznacza to, że poprawnie identyfikuje 11% wszystkich nowotworów złośliwych.
Precyzja i czułość: smokingi
Aby w pełni ocenić skuteczność modelu, musisz zbadać zarówno precyzję, jak i czułość. Niestety precyzja i czułość jest często napięta. Oznacza to, że większa precyzja zazwyczaj zmniejsza czułość i odwrotnie. Możesz się temu dowiedzieć, korzystając z tego przykładu, który przedstawia 30 podpowiedzi utworzonych przez model klasyfikacji e-maili. Po prawej stronie progu klasyfikacji są klasyfikowane jako „"spam"”, a po lewej – „"spam”.
Rysunek 1. klasyfikowanie e-maili jako spamu lub spamu,
Obliczamy precyzję i rozpoznawalność na podstawie wyników z rysunku 1.
Rzeczywiste korzyści (TP): 8 | Fałszywy plus (FP): 2 |
Fałszywe wyniki negatywne (FN): | Rzeczywiste negatywne (TN): |
Precyzja mierzy odsetek e-maili oznaczonych jako spam, które zostały prawidłowo sklasyfikowane – jest to procent kropek po prawej stronie progu, który jest zielony na rysunku 1:
Czułość rozpoznawa odsetek rzeczywistych e-maili ze spamem, które zostały prawidłowo sklasyfikowane – czyli odsetek zielonych kropek znajdujących się po prawej stronie progu płatności na rysunku 1:
Rysunek 2 pokazuje efekt zwiększenia progu klasyfikacji.
Rysunek 2. Zwiększam próg klasyfikacji.
Liczba fałszywych dopasowań wzrosła, ale wzrosła liczba fałszywych wyników. W związku z tym precyzja rośnie, a czułość spada:
Rzeczywiste korzyści (TP): 7 | Fałszywy wynik (FP): 1 |
Fałszywe wyniki negatywne (FN): | Rzeczywiste negatywne (TN): |
I na odwrót: ilustracja efektu zmniejszenia progu klasyfikacji (z pierwotnej pozycji na rysunku 1).
Rysunek 3. Zmniejszam próg klasyfikacji.
Wzrost liczby fałszywie pozytywnych i spadek wyników fałszywie negatywnych. W efekcie skróciła się precyzja i czułość:
Rzeczywiste korzyści (TP): 9 | Fałszywy plus (FP): 3 |
Fałszywe wyniki negatywne (FN): | Rzeczywiste negatywne (TN): |
Opracowano różne wskaźniki, które opierają się zarówno na precyzji, jak i czułości. Zobacz na przykład wynik F1.