Dokładność
Dostępne opcje są opisane poniżej.
W którym z poniższych scenariuszy wysoka wartość wartości sugeruje, że model systemów uczących się działa dobrze?
Śmiertelne, ale leczone schorzenia dotyczy 0, 01% populacji. Model systemów uczących się wykorzystuje objawy jako cechy i prognozuje ten problem z dokładnością na poziomie 99,99%.
Dokładność jest niska. W ogóle nawet model „głupkowaty”, który zawsze przewiduje, że nie jest to choroba, nadal będzie wynosić 99,99%.
Fałszywe przewidywanie &choroby może być śmiertelne dla osoby, która faktycznie jest chora.
Roboty drogie z kurczaka przekraczają bardzo ruchliwą drogę dziennie. Model systemów uczących się ocenia wzorce ruchu i przewiduje, kiedy kurczak może bezpiecznie przejść przez ulicę z dokładnością do 99,99%.
Wartość dokładności 99,99% na bardzo ruchliwej drodze znacznie sugeruje, że model ML jest znacznie lepszy niż przypadkowy. W niektórych ustawieniach koszt jednak nawet niewielkiej liczby błędów jest nadal zbyt wysoki.
Dokładność 99, 99% oznacza, że kosztowne kurczaki trzeba zastąpić średnio co 10 dni. Kurczak może też powodować poważne obrażenia w samochodach.
W grze ruletkowej kula jest upuszczana na kręconym kółku, a następnie trafia w jednym z 38 boksów. Za pomocą funkcji wizualnych (obrót piłki, jej pozycji, przy której kulka spadła, wysokość kulki nad kółkiem) model ML może przewidzieć boks, na który trafi piłka z dokładnością do 4%.
Ten model systemów uczących się powoduje, że prognozy są o wiele bardziej prawdopodobne, a przypadkowe losy odpowiadają 1/38 razy, co przekłada się na dokładność na poziomie 2,6%.
Chociaż dokładność modelu jest równa 4%, korzyści płynące z sukcesu są znacznie większe niż wady niepowodzenia.
Precyzja
Dostępne opcje są opisane poniżej.
Rozważ model klasyfikacji dzielący e-maile na 2 kategorie: „"spam"” i „"spam”." Co się stanie z precyzją, jeśli podniesiesz próg klasyfikacji?
Jak najbardziej.
Podniesienie progu klasyfikacji zazwyczaj zwiększa precyzję, ale nie gwarantujemy, że będzie je wzrastać monotonicznie.
Prawdopodobnie wzrost.
Ogólnie podniesienie progu klasyfikacji zmniejsza liczbę wyników fałszywie pozytywnych, co zwiększa precyzję.
Prawdopodobnie maleje.
Ogólnie podniesienie progu klasyfikacji zmniejsza liczbę wyników fałszywie pozytywnych, co zwiększa precyzję.
Zdecydowanie tak.
Ogólnie podniesienie progu klasyfikacji zmniejsza liczbę wyników fałszywie pozytywnych, co zwiększa precyzję.
Czułość
Dostępne opcje są opisane poniżej.
Rozważ model klasyfikacji dzielący e-maile na 2 kategorie: „"spam"” i „"spam”." Co się stanie, jeśli podniesiesz próg klasyfikacji?
Zawsze zwiększ.
Podniesienie progu klasyfikacji spowoduje, że:
- Liczba wyników prawdziwie spadnie lub pozostanie taka sama.
- Liczba wyników fałszywie negatywnych wzrośnie lub pozostanie taka sama.
Zawsze zmniejszaj się lub zmieniaj.
Podniesienie progu klasyfikacji sprawi, że liczba wyników fałszywie negatywnych spadnie lub pozostanie bez zmian, a liczba fałszywie negatywnych wyników wzrośnie lub pozostanie bez zmian. Z tego powodu czułość nie ulegnie zmianie lub się nie zmniejszy.
Zawsze utrzymuj stały poziom.
Podniesienie progu klasyfikacji sprawi, że liczba wyników fałszywie negatywnych spadnie lub pozostanie bez zmian, a liczba fałszywie negatywnych wyników wzrośnie lub pozostanie bez zmian. Z tego powodu czułość nie ulegnie zmianie lub się nie zmniejszy.
Precyzja i czułość
Dostępne opcje są opisane poniżej.
Rozważ użycie 2 modeli – A i B – które oceniają ten sam zbiór danych.
Które z tych stwierdzeń jest prawdziwe?
Jeśli model A ma większą precyzję niż model B, lepiej model A.
Lepsza precyzja jest odpowiednia, ale może się wiązać z znacznym obniżeniem czułości. Ogólnie rzecz biorąc, musimy brać pod uwagę zarówno precyzję, jak i rozpoznawalność, albo podsumować dane takie jak AUC, które omówimy później.
Jeśli model A jest lepszy od modelu B, oznacza to, że jest on lepszy.
Lepsze rozpoznanie jest dobre, ale może skutkować dużym spadkiem dokładności. Ogólnie rzecz biorąc, musimy brać pod uwagę zarówno precyzję, jak i rozpoznawalność, albo podsumować dane takie jak AUC, które omówimy później.
Jeśli model A ma większą precyzję i lepszą czułość niż model B, prawdopodobnie model A jest lepszy.
Model, który działa lepiej niż inny model, zarówno pod względem precyzji, jak i czułości, jest zazwyczaj lepszy. Oczywiście należy sprawdzić, czy porównanie występuje w miejscu precyzji lub czułości, co jest przydatne w praktyce. Załóżmy na przykład, że nasz model wykrywania spamu musi działać z dokładnością do 90%, aby była przydatna i nie zawierała niepotrzebnych alarmów. W tym przypadku porównanie jednego modelu z {20% precyzji, 99% czułości} z innym {15% precyzji, 98% czułości} nie jest szczególnie przydatne, ponieważ żaden model nie spełnia wymagań dotyczących 90% dokładności. Warto jednak pamiętać o porównywaniu modeli z zastosowaniem precyzji i rozpoznawalności.