Clasificación: Exactitud

La exactitud es una métrica para evaluar modelos de clasificación. Informalmente, la exactitud es la fracción de predicciones que el modelo realizó correctamente. De manera formal, la exactitud tiene la siguiente definición:

$$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$

Para la clasificación binaria, la precisión también se puede calcular en términos de positivos y negativos de la siguiente manera:

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$

Donde TP = Verdaderos positivos, VN = Verdaderos negativos, FP = Falsos positivos y FN = Falsos negativos.

Intentemos calcular la precisión del siguiente modelo, que clasificó 100 tumores como malignos (la clase positiva) o benignos (la clase negativa):

Verdadero positivo (VP):
  • Realidad: Maligno
  • Predicción del modelo de AA: Maligno
  • Cantidad de resultados de VP: 1
Falso positivo (FP):
  • Realidad: Benigno
  • Predicción del modelo de AA: Maligno
  • Cantidad de resultados de FP: 1
Falso negativo (FN):
  • Realidad: Maligno
  • Predicción del modelo de AA: Benigno
  • Número de resultados de FN: 8
Verdadero negativo (VN):
  • Realidad: Benigno
  • Predicción del modelo de AA: Benigno
  • Cantidad de resultados de VN: 90
$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

La exactitud llega a 0.91 o 91% (91 predicciones correctas de un total de 100 ejemplos). Eso significa que nuestro clasificador de tumores está haciendo un buen trabajo en la identificación de malignidades, ¿verdad?

En realidad, realicemos un análisis más detallado de los positivos y negativos para obtener más información sobre el rendimiento de nuestro modelo.

De los 100 ejemplos de tumores, 91 son benignos (90 VN y 1 FP) y 9 son malignos (1 VP y 8 FN).

De los 91 tumores benignos, el modelo identifica correctamente a 90 como benignos. Si bien este promedio es bueno, Sin embargo, de los 9 tumores malignos, el modelo solo identifica correctamente 1 como maligno, un resultado terrible, ya que 8 de 9 malignidades no se diagnostican.

Aunque la precisión del 91% puede parecer buena a primera vista, otro modelo de clasificación de tumores que siempre predice benigno lograría la misma exactitud (91/100 predicciones correctas) en nuestros ejemplos. En otras palabras, nuestro modelo no es mejor que uno que tenga una capacidad predictiva de cero para distinguir tumores malignos de tumores benignos.

La exactitud sola no cuenta la historia completa cuando se trabaja con un conjunto de datos desequilibrados, como este, en el que hay una disparidad significativa entre el número de etiquetas positivas y negativas.

En la siguiente sección, analizaremos dos métricas mejores para evaluar los problemas de clase desequilibrada: precisión y recuperación.