Durante la valutazione di un modello, le metriche sono calcolate sulla base di un intero test o convalida non sempre forniscono un'immagine accurata di quanto sia equo il modello. Ottime prestazioni del modello nel complesso per la maggior parte degli esempi potrebbero mascherare una scarsa il rendimento su un sottoinsieme di esempi di una minoranza, il che può comportare le previsioni del modello. Usare metriche di rendimento aggregate, ad esempio precisione, richiamo, e la accuratezza non sta necessariamente per esporre questi problemi.
Possiamo rivedere il nostro modello di ammissione ed esplorare alcune nuove tecniche su come valutare i bias nelle previsioni, tenendo presente l'equità.
Supponiamo che il modello di classificazione delle ammissioni selezioni 20 studenti da ammettere universitari da un pool di 100 candidati, appartenenti a due gruppi demografici: il gruppo di maggioranza (blu, 80 studenti) e il gruppo di minoranze (arancione, 20 studenti).
Il modello deve ammettere studenti qualificati in modo corretto ai candidati in entrambi i gruppi demografici.
Come dovremmo valutare l'equità delle previsioni del modello? Esistono diverse di metriche che possiamo prendere in considerazione, ognuna delle quali fornisce una diversa definizione di "equità". Nelle sezioni seguenti, esploreremo tre queste metriche di equità in dettaglio: parità demografica, uguaglianza di opportunità e l'equità controfattuale.