Nella sezione precedente, abbiamo valutato l'equità nel nostro modello di ammissione utilizzando la parità demografica, confrontando i tassi di accettazione complessivi per entrambi gruppi demografici.
In alternativa, potremmo confrontare i tassi di accettazione solo per i segmenti di pubblico candidati nel gruppo di maggioranza e nel gruppo di minoranza. Se le percentuali di accettazione per gli studenti qualificati di entrambi i gruppi sono uguali, il modello mostra uguaglianza di opportunità: gli studenti con la nostra etichetta preferita ("qualificato per l'ammissione") hanno lo stesso probabilità di essere ammessi, indipendentemente dal gruppo demografico a cui appartengono a.
Esaminiamo il pool di candidati della sezione precedente:
Gruppo di maggioranza | Gruppo di minoranze | |
---|---|---|
Qualificato | 35 | 15 |
Non qualificato | 45 | 5 |
Supponiamo che il modello di ammissione accetti 14 candidati del gruppo di maggioranza e 6 candidati della minoranza. Le decisioni del modello soddisfano pari opportunità, in quanto il tasso di accettazione sia per la maggioranza qualificata e delle minoranze qualificate è il 40%.
![Gruppo di 100 candidati, suddiviso in due gruppi: Rifiutati
Candidati (66 studenti blu, 14 studenti arancioni) e accettati
Candidati (14 studenti blu, 6 studenti arancioni). Nel campo Accettate
gruppo, tutti i 20 studenti sono in verde (che indica
qualificati) e nel gruppo Rifiutati, 21 studenti blu e 9
anche gli studenti arancioni sono ombreggiati da verde](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_equality_of_opportunity_by_qualifications.png?authuser=7&hl=it)
La seguente tabella quantifica i numeri a supporto dei messaggi rifiutati e accettati candidati nella Figura 4.
Gruppo di maggioranza | Gruppo di minoranze | |||
---|---|---|---|---|
Accettato | Rifiutato | Accettato | Rifiutato | |
Qualificato | 14 | 21 | 6 | 9 |
Non qualificato | 0 | 45 | 0 | 5 |
Vantaggi e svantaggi
Il vantaggio principale dell'uguaglianza delle opportunità è che permette rapporto tra previsioni positive e previsioni negative per variare i gruppi demografici, a condizione che il modello abbia altrettanto successo nel prevedere l'etichetta preferita ("qualificato per l'ammissione") per entrambi i gruppi.
Le previsioni del modello nella Figura 4 non soddisfano la parità demografica. come studente nel gruppo di maggioranza ha il 17,5% di probabilità di essere accettato, e uno studente della minoranza ha il 30% di probabilità di essere accettato. Tuttavia, uno studente qualificato ha il 40% di probabilità di essere accettato, indipendentemente da quale gruppo a cui appartengono, il che è probabilmente un risultato più equo caso d'uso specifico del modello.
Uno svantaggio dell'uguaglianza delle opportunità è che è progettato per nei casi in cui c'è un'etichetta preferita ben chiara. Se è altrettanto importante che il modello preveda sia la classe positiva ("idonea per l'ammissione") e negativa ("non idoneo per l'ammissione") per tutti i gruppi demografici, potrebbe essere utile usare la metrica quote paritarie, che applicano le stesse percentuali di successo per entrambe le etichette.
Un altro svantaggio dell'uguaglianza delle opportunità è che valuta l'equità
confrontando i tassi di errore in forma aggregata per gruppi demografici, che possono
non è sempre fattibile. Ad esempio, se il set di dati del nostro modello di ammissione
non avesse la funzionalità demographic_group
, non sarebbe possibile
suddividono i tassi di accettazione dei candidati alla maggioranza e alle minoranze qualificate
e confrontarle per capire se le pari opportunità sono soddisfatte.
Nella prossima sezione esamineremo un'altra metrica di equità, controfattuale equità, che possono essere utilizzate in scenari in cui i dati demografici non per tutti gli esempi.
Allenamento: verifica le tue conoscenze
Le previsioni di un modello possono soddisfare sia i dati demografici e l'uguaglianza delle opportunità.
Ad esempio, supponiamo che un classificatore binario (la cui etichetta preferita è la classe positiva) viene valutata su 100 esempi, con risultati mostrato nelle seguenti matrici di confusione, suddivise per gruppo demografico (maggioranza e minoranza):
Gruppo di maggioranza | Gruppo di minoranze | |||
---|---|---|---|---|
Previsto positivo | Negativo previsto | Previsto positivo | Negativo previsto | |
Effettivo positivo | 6 | 12 | 3 | 6 |
Negativo effettivo | 10 | 36 | 6 | 21 |
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
Sia i gruppi di maggioranza che quelli appartenenti a minoranze hanno un tasso di previsione positivo del 25%, rispettando la parità demografica e un tasso di veri positivi (percentuale di esempi con l'etichetta preferita che sono correttamente) del 33%, soddisfacendo le pari opportunità.