Classificazione: accuratezza

L'accuratezza è una metrica per valutare i modelli di classificazione. A grandi linee, l'accuratezza è la parte della previsione che il nostro modello ha fatto in modo corretto. Formalmente, l'accuratezza ha la seguente definizione:

$$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$

Per la classificazione binaria, l'accuratezza può essere calcolata anche in termini di positivi e negativi come segue:

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$

Dove TP = Veri positivi, TN = Veri negativi, FP = Falsi positivi e FN = Falsi negativi.

Proviamo a calcolare l'accuratezza del seguente modello che ha classificato 100 tumori come maligno (classe positiva) o bengno (classe negativa):

Vero positivo (TP):
  • Realtà: maligno
  • Modello ML previsto: maligno
  • Numero di risultati TP: 1
 Falso positivo (FP):
  • Realtà: benigno
  • Modello ML previsto: maligno
  • Numero di risultati FP: 1
Falso negative (FN):
  • Realtà: maligno
  • Modello ML previsto: Benign
  • Numero di risultati FN: 8
 Vero negativo (TN):
  • Realtà: benigno
  • Modello ML previsto: Benign
  • Numero di risultati TN: 90
$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

Il livello di precisione è 0, 91 o il 91% (91 previsioni corrette su 100 esempi totali). Ciò significa che il nostro classificatore di tumore sta facendo un ottimo lavoro nel identificare le malignità, giusto?

In realtà, facciamo un'analisi più approfondita di positivi e negativi per ottenere più informazioni sul rendimento del nostro modello.

Dei 100 esempi di tumore, 91 sono innocui (90 TN e 1 FP) e 9 sono maligni (1 TP e 8 FN).

Dei 91 tumori benigni, il modello identifica correttamente 90 come benigni. È un buon numero, Tuttavia, dei 9 tumori maligni, il modello identifica correttamente solo 1 come maligno, un risultato terribile, poiché 8 tumori maligni non vengono diagnosticati.

Sebbene l'accuratezza del 91% possa sembrare buona a prima vista, un altro modello di classificatore di tumore che prevede sempre innocente otterrebbe esattamente la stessa precisione (91/100 previsioni corrette) sui nostri esempi. In altre parole, il nostro modello non è meglio di uno che non ha capacità predittiva di distinguere tumori maligni da tumori benigni.

L'accuratezza dei dati non è sufficiente per descrivere la storia completa quando si lavora con un set di dati non bilanciato di classe, come questo, in cui c'è una notevole disparità tra il numero di etichette positive e negative.

Nella sezione successiva, vedremo due metriche migliori per valutare i problemi non bilanciati di classe: precisione e richiamo.

 

Indietro
Vero o falso; positivo o negativo
Avanti
Precisione e richiamo