Un metodo che possiamo usare per valutare l'equità delle previsioni del modello è confrontare il tasso di ammissione per il gruppo di maggioranza e per il gruppo di minoranze. Se le due tariffe di ammissione sono uguali, le previsioni del modello mostrano Parità demografica: a le possibilità di essere ammessi all'università non variano gruppo demografico.
Supponiamo che il modello di ammissione accetti 16 candidati dalla maggioranza e 4 candidati della minoranza. Le decisioni del modello soddisfano la parità demografica, in quanto il tasso di accettazione sia per la maggioranza che per delle minoranze è il 20%.
![Gruppo di candidati, suddiviso in due gruppi: Candidati rifiutati (64 blu
di studenti, 16 studenti arancioni) e candidati accettati (16 blu
studenti, 4 arancioni).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=7&hl=it)
La seguente tabella quantifica i numeri a supporto dei messaggi rifiutati e accettati candidati nella Figura 2.
Gruppo di maggioranza | Gruppo di minoranze | |
---|---|---|
Accettati | 16 | 4 |
Rifiutato | 64 | 16 |
Tasso di accettazione | 20% | 20% |
Allenamento: controlla le tue intuizioni
Il comitato di ammissione all'università sta valutando l'utilizzo della parità demografica come metrica di valutazione dell'equità per il modello e ha bisogno del tuo aiuto sui vantaggi e sugli svantaggi di questo approccio. Riesci a identificarne uno pro e uno con di valutare le previsioni del modello utilizzando i dati demografici e parità?
Continua a leggere la prossima sezione, Vantaggi e Svantaggi, per il riepilogo dei principali pro e svantaggi dell'utilizzo parità demografica.
Vantaggi e svantaggi
Il vantaggio principale della parità demografica per il nostro esempio di ammissione è che assicura che sia la maggioranza che le minoranze siano rappresentati nei di studenti che hanno le stesse proporzioni di quelle che fanno parte del pool di candidati. In altre parole, se il pool di candidati è composto dall'80% dei candidati del gruppo di maggioranza e il 20% di candidati appartenenti a minoranze, la parità demografica garantisce che degli ammessi sarà anche l'80% degli studenti del gruppo maggioritario e il 20% delle minoranze studenti.
Tuttavia, la parità demografica presenta uno svantaggio importante: non prende il distribuzione di previsioni per ogni gruppo demografico (il numero di studenti classificati come "qualificati" rispetto a "non qualificato") verranno prese in considerazione quando valutando come assegnare i 20 slot di ammissione.
Diamo un'altra occhiata alla composizione del pool di candidati dall'alto. Questa volta però classificheremo i candidati non solo in base al gruppo demografico, ma anche dal fatto che il modello abbia assegnato a ciascun candidato un punteggio come "qualificato" o "non qualificato":
![La stessa suddivisione tra candidati rifiutati e accettati
l'immagine precedente, ma questa volta i 50 studenti che
qualificati (35 studenti blu, 15 studenti arancioni) ombreggiati in verde,
e il sottoinsieme di studenti qualificati che sono stati rifiutati (19 studenti blu,
11 studenti arancioni) sono contrassegnati con una X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=7&hl=it)
La seguente tabella quantifica i numeri a supporto dei messaggi rifiutati e accettati candidati nella Figura 3.
Gruppo di maggioranza | Gruppo di minoranze | |||
---|---|---|---|---|
Accettato | Rifiutato | Accettato | Rifiutato | |
Qualificato | 16 | 19 | 4 | 11 |
Non qualificato | 0 | 45 | 0 | 5 |
Analizziamo i tassi di accettazione degli studenti qualificati per entrambi i gruppi:
Anche se entrambi i gruppi hanno un tasso di accettazione complessiva del 20%, i risultati soddisfacenti parità demografica, il tasso di accettazione per gli studenti a maggioranza qualificata è del 46%, mentre il tasso di accettazione degli studenti appartenenti a minoranze qualificate è solo del 27%.
In casi come questo, in cui la distribuzione di un'etichetta preferita (ad esempio "qualificato") varia notevolmente per entrambi i gruppi, la parità demografica può non essere la metrica ottimale da scegliere per valutare l'equità. Nei prossimi esamineremo una metrica di equità alternativa, l'uguaglianza di opportunità che tiene conto di queste differenze.