Nella sezione precedente, abbiamo valutato l'equità nel nostro modello di ammissione utilizzando la parità demografica, confrontando i tassi di accettazione complessivi per entrambi gruppi demografici.
In alternativa, potremmo confrontare i tassi di accettazione solo per i segmenti di pubblico candidati nel gruppo di maggioranza e nel gruppo di minoranza. Se le percentuali di accettazione per gli studenti qualificati di entrambi i gruppi sono uguali, il modello mostra uguaglianza di opportunità: gli studenti con la nostra etichetta preferita ("qualificato per l'ammissione") hanno lo stesso probabilità di essere ammessi, indipendentemente dal gruppo demografico a cui appartengono a.
Esaminiamo il pool di candidati della sezione precedente:
| Gruppo di maggioranza | Gruppo di minoranze | |
|---|---|---|
| Qualificato | 35 | 15 |
| Non qualificato | 45 | 5 |
Supponiamo che il modello di ammissione accetti 14 candidati del gruppo di maggioranza e 6 candidati della minoranza. Le decisioni del modello soddisfano pari opportunità, in quanto il tasso di accettazione sia per la maggioranza qualificata e delle minoranze qualificate è il 40%.
La seguente tabella quantifica i numeri a supporto dei messaggi rifiutati e accettati candidati nella Figura 4.
| Gruppo di maggioranza | Gruppo di minoranze | |||
|---|---|---|---|---|
| Accettato | Rifiutato | Accettato | Rifiutato | |
| Qualificato | 14 | 21 | 6 | 9 |
| Non qualificato | 0 | 45 | 0 | 5 |
Vantaggi e svantaggi
Il vantaggio principale dell'uguaglianza delle opportunità è che permette rapporto tra previsioni positive e previsioni negative per variare i gruppi demografici, a condizione che il modello abbia altrettanto successo nel prevedere l'etichetta preferita ("qualificato per l'ammissione") per entrambi i gruppi.
Le previsioni del modello nella Figura 4 non soddisfano la parità demografica. come studente nel gruppo di maggioranza ha il 17,5% di probabilità di essere accettato, e uno studente della minoranza ha il 30% di probabilità di essere accettato. Tuttavia, uno studente qualificato ha il 40% di probabilità di essere accettato, indipendentemente da quale gruppo a cui appartengono, il che è probabilmente un risultato più equo caso d'uso specifico del modello.
Uno svantaggio dell'uguaglianza delle opportunità è che è progettato per nei casi in cui c'è un'etichetta preferita ben chiara. Se è altrettanto importante che il modello preveda sia la classe positiva ("idonea per l'ammissione") e negativa ("non idoneo per l'ammissione") per tutti i gruppi demografici, potrebbe essere utile usare la metrica quote paritarie, che applicano le stesse percentuali di successo per entrambe le etichette.
Un altro svantaggio dell'uguaglianza delle opportunità è che valuta l'equità
confrontando i tassi di errore in forma aggregata per gruppi demografici, che possono
non è sempre fattibile. Ad esempio, se il set di dati del nostro modello di ammissione
non avesse la funzionalità demographic_group, non sarebbe possibile
suddividono i tassi di accettazione dei candidati alla maggioranza e alle minoranze qualificate
e confrontarle per capire se le pari opportunità sono soddisfatte.
Nella prossima sezione esamineremo un'altra metrica di equità, controfattuale equità, che possono essere utilizzate in scenari in cui i dati demografici non per tutti gli esempi.
Allenamento: verifica le tue conoscenze
Le previsioni di un modello possono soddisfare sia i dati demografici e l'uguaglianza delle opportunità.
Ad esempio, supponiamo che un classificatore binario (la cui etichetta preferita è la classe positiva) viene valutata su 100 esempi, con risultati mostrato nelle seguenti matrici di confusione, suddivise per gruppo demografico (maggioranza e minoranza):
| Gruppo di maggioranza | Gruppo di minoranze | |||
|---|---|---|---|---|
| Previsto positivo | Negativo previsto | Previsto positivo | Negativo previsto | |
| Effettivo positivo | 6 | 12 | 3 | 6 |
| Negativo effettivo | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Sia i gruppi di maggioranza che quelli appartenenti a minoranze hanno un tasso di previsione positivo del 25%, rispettando la parità demografica e un tasso di veri positivi (percentuale di esempi con l'etichetta preferita che sono correttamente) del 33%, soddisfacendo le pari opportunità.