Finora, le nostre discussioni sulle metriche di equità hanno ipotizzato che la nostra e gli esempi di test contengono dati demografici completi per i sottogruppi in fase di valutazione. Spesso, però, non è così.
Supponiamo che il nostro set di dati di ammissione non contenga dati demografici completi. L'appartenenza al gruppo demografico viene invece registrata solo per una piccola percentuale di esempi, come gli studenti che hanno scelto di identificarsi autonomamente a cui apparteneva. In questo caso, la suddivisione del pool di candidati in e gli studenti rifiutati ora hanno il seguente aspetto:
![Un pool di candidati di 100 studenti, diviso in due gruppi:
Candidati rifiutati (80 icone di studenti) e candidati accettati (20
icone degli studenti). Tutte le icone sono ombreggiate in grigio (a indicare che i loro
gruppo demografico sconosciuto), ad eccezione di sei icone. Nella sezione Rifiutate
gruppo, due icone studente sono ombreggiate in blu e due icone studente sono ombreggiate
arancione. Nel gruppo Accettati, l'icona di uno studente è di colore blu e l'altra
di colore arancione ombreggiato.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_candidate_pool.png?authuser=7&hl=it)
In questo caso non è possibile valutare le previsioni del modello per i gruppi demografici parità o uguaglianza di opportunità, in quanto non disponiamo di dati demografici per il 94% dei nostri esempi. Tuttavia, per il 6% degli esempi che contengono caratteristiche demografiche, possiamo comunque confrontare coppie di previsioni individuali (un candidato alla maggioranza o un candidato di una minoranza) per vedere se sono stati trattati equamente dal modello.
Ad esempio, supponiamo di aver esaminato attentamente i dati delle caratteristiche disponibile per due candidati (uno nel gruppo di maggioranza e uno nella minoranza di testo, annotati con una stella nell'immagine sotto), e hanno determinato che sono identici per tutti gli aspetti per l'ammissione. Se il modello restituisce la stessa previsione per entrambi i candidati (ovvero respinge entrambi candidati o accetta entrambi), si dice che soddisfi equità per questi esempi. L'equità controfattuale stabilisce che due esempi identici sotto tutti gli aspetti, ad eccezione di un determinato attributo sensibile (in questo caso l'appartenenza ai gruppi demografici), dovrebbe generare lo stesso modello la previsione.
![Stesso pool di candidati dell'immagine precedente, ad eccezione di
questa versione, un'icona studente blu (appartenente al gruppo di maggioranza) e
un'icona studente arancione (che appartiene al gruppo di minoranze) nella sezione Rifiutate
gruppo sono annotati con una stella, a indicare che questi due candidati sono
identici (a parte il gruppo demografico).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_satisfied.png?authuser=7&hl=it)
Vantaggi e svantaggi
Come accennato in precedenza, un vantaggio chiave dell'equità controfattuale è che può essere utilizzata per valutare l'equità delle previsioni in molti casi in cui l'utilizzo non sarebbero attuabili. Se un set di dati non contiene un set completo i valori delle caratteristiche per gli attributi di gruppo pertinenti presi in considerazione, essere possibile valutare l'equità utilizzando la parità demografica o l'uguaglianza l'opportunità. Tuttavia, se questi attributi di gruppo sono disponibili per un sottoinsieme di esempi ed è possibile identificare coppie comparabili di esempi in gruppi diversi, gli operatori possono usare l'equità controfattuale come metrica per verificare la presenza di potenziali bias nelle previsioni del modello.
Inoltre, poiché metriche come la parità demografica e l'uguaglianza valutare i gruppi in forma aggregata, potrebbero mascherare problemi legati ai pregiudizi che il modello a livello di singole previsioni, che possono essere visualizzate usando l'equità controfattuale. Ad esempio, supponiamo che le nostre ammissioni il modello accetta candidati qualificati appartenenti al gruppo di maggioranza e di minoranza gruppo nella stessa proporzione, ma il candidato di una minoranza più qualificato è viene rifiutata, mentre il candidato alla maggioranza più qualificato che ha credenziali accettate. Un'analisi dell'equità controfattuale può aiutare a identificare questi tipi di discrepanze in modo da poterli risolvere.
D'altra parte, lo svantaggio principale dell'equità controfattuale è che forniscono una visione olistica dei bias nelle previsioni del modello. L'identificazione e l'analisi Correggere alcune disuguaglianze in coppie di esempi potrebbe non essere sufficiente per risolvere problemi di bias sistemici che interessano interi sottogruppi di esempi.
Nei casi in cui è possibile, i professionisti possono considerare l'uso di entrambe le risorse l'analisi dell'equità (utilizzando una metrica come la parità demografica o l'uguaglianza un'opportunità comune) nonché un'analisi dell'equità controfattuale per ottenere la di approfondimenti sui potenziali problemi di bias che necessitano di correzioni.
Allenamento: verifica le tue conoscenze
![Figura di esercizio. Due gruppi di cerchie: negativo
Previsioni e previsioni positive.
Le previsioni negative sono costituite da 50 cerchi:
39 cerchi grigi, 8 cerchi blu e 3 cerchi arancioni. Uno.
un cerchio blu con l'etichetta "A", un cerchio arancione con l'etichetta "A",
e un cerchio blu con l'etichetta "C".
Le previsioni positive sono composte da 15 cerchi:
10 cerchi grigi, 3 cerchi blu e 2
cerchi arancioni. Un cerchio blu con l'etichetta "B", uno arancione
in un cerchio con l'etichetta "B", mentre su un cerchio blu quella con "C".
Una legenda sotto il diagramma afferma che i cerchi blu rappresentano
Per esempio nel gruppo maggioritario, i cerchi arancioni rappresentano
un esempio nel gruppo di minoranze, mentre i cerchi grigi rappresentano
esempi di cui è sconosciuta l'iscrizione a gruppi](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_exercise_diagram.png?authuser=7&hl=it)
Nell'insieme di previsioni della Figura 7 precedente, quale delle seguenti coppie di identiche (esclusa l'appartenenza al gruppo) esempi che hanno ricevuto previsioni che violano l'equità controfattuale?
Riepilogo
Parità demografica, uguaglianza delle opportunità, e l'equità controfattuale offrono ciascuna diverse definizioni matematiche di e l'equità per le previsioni del modello. Sono solo tre possibili modi per quantificare l'equità. Alcune definizioni di equità sono mutuamente a vicenda incompatibile, il che significa che potrebbe essere impossibile soddisfarle contemporaneamente per un in base alle previsioni del modello.
Come si fa a scegliere il modello "giusta" e l'equità operativa per il tuo modello? Devi considerare il contesto in cui vengono utilizzati e gli obiettivi generali che vuoi realizzare. Ad esempio, l'obiettivo è raggiungere un'equa rappresentazione (in questo caso, la parità demografica può essere la metrica ottimale) oppure raggiungere le pari opportunità (in questo caso, l'uguaglianza delle opportunità può essere metrica)?
Per scoprire di più sull'equità dell'ML ed esplorare questi problemi in modo più approfondito, consulta Equità e machine learning: limitazioni e opportunità di Solon Barocas, Moritz Hardt e Arvind Narayanan.