В этом разделе мы определим основные строительные блоки метрик, которые будем использовать для оценки моделей классификации. Но сначала басня:
Басня Эзопа: Мальчик, который плакал волком ( сжатый )
Мальчику-пастуху надоедает пасти стадо в городе. Чтобы повеселиться, он кричит: «Волк!» даже если волка не видно. Жители деревни бегут, чтобы защитить стадо, но затем очень злятся, когда понимают, что мальчик подшутил над ними.
[Повторить предыдущий абзац N раз.]
Однажды ночью пастушок видит настоящего волка, приближающегося к стаду, и кричит: «Волк!» Жители деревни не хотят, чтобы их снова одурачили, и остаются в своих домах. Голодный волк превращает стадо в бараньи отбивные. Город голодает. Возникает паника.
Сделаем следующие определения:
- «Волк» — положительный класс .
- «Нет волка» — отрицательный класс .
Мы можем обобщить нашу модель «предсказания волка», используя матрицу путаницы 2x2, которая изображает все четыре возможных результата:
Истинный положительный результат (TP):
| Ложноположительный результат (FP):
|
Ложноотрицательный (FN):
| Истинный отрицательный результат (TN):
|
Истинный положительный результат — это результат, при котором модель правильно предсказывает положительный класс. Точно так же истинно отрицательный результат — это результат, когда модель правильно предсказывает отрицательный класс.
Ложное срабатывание — это результат, когда модель неправильно предсказывает положительный класс. А ложноотрицательный результат — это результат, когда модель неправильно предсказывает отрицательный класс.
В следующих разделах мы рассмотрим, как оценивать модели классификации с использованием метрик, полученных на основе этих четырех результатов.