Finora, le nostre discussioni sulle metriche di equità hanno ipotizzato che la nostra e gli esempi di test contengono dati demografici completi per i sottogruppi in fase di valutazione. Spesso, però, non è così.
Supponiamo che il nostro set di dati di ammissione non contenga dati demografici completi. L'appartenenza al gruppo demografico viene invece registrata solo per una piccola percentuale di esempi, come gli studenti che hanno scelto di identificarsi autonomamente a cui apparteneva. In questo caso, la suddivisione del pool di candidati in e gli studenti rifiutati ora hanno il seguente aspetto:
In questo caso non è possibile valutare le previsioni del modello per i gruppi demografici parità o uguaglianza di opportunità, in quanto non disponiamo di dati demografici per il 94% dei nostri esempi. Tuttavia, per il 6% degli esempi che contengono caratteristiche demografiche, possiamo comunque confrontare coppie di previsioni individuali (un candidato alla maggioranza o un candidato di una minoranza) per vedere se sono stati trattati equamente dal modello.
Ad esempio, supponiamo di aver esaminato attentamente i dati delle caratteristiche disponibile per due candidati (uno nel gruppo di maggioranza e uno nella minoranza di testo, annotati con una stella nell'immagine sotto), e hanno determinato che sono identici per tutti gli aspetti per l'ammissione. Se il modello restituisce la stessa previsione per entrambi i candidati (ovvero respinge entrambi candidati o accetta entrambi), si dice che soddisfi equità per questi esempi. L'equità controfattuale stabilisce che due esempi identici sotto tutti gli aspetti, ad eccezione di un determinato attributo sensibile (in questo caso l'appartenenza ai gruppi demografici), dovrebbe generare lo stesso modello la previsione.
Vantaggi e svantaggi
Come accennato in precedenza, un vantaggio chiave dell'equità controfattuale è che può essere utilizzata per valutare l'equità delle previsioni in molti casi in cui l'utilizzo non sarebbero attuabili. Se un set di dati non contiene un set completo i valori delle caratteristiche per gli attributi di gruppo pertinenti presi in considerazione, essere possibile valutare l'equità utilizzando la parità demografica o l'uguaglianza l'opportunità. Tuttavia, se questi attributi di gruppo sono disponibili per un sottoinsieme di esempi ed è possibile identificare coppie comparabili di esempi in gruppi diversi, gli operatori possono usare l'equità controfattuale come metrica per verificare la presenza di potenziali bias nelle previsioni del modello.
Inoltre, poiché metriche come la parità demografica e l'uguaglianza valutare i gruppi in forma aggregata, potrebbero mascherare problemi legati ai pregiudizi che il modello a livello di singole previsioni, che possono essere visualizzate usando l'equità controfattuale. Ad esempio, supponiamo che le nostre ammissioni il modello accetta candidati qualificati appartenenti al gruppo di maggioranza e di minoranza gruppo nella stessa proporzione, ma il candidato di una minoranza più qualificato è viene rifiutata, mentre il candidato alla maggioranza più qualificato che ha credenziali accettate. Un'analisi dell'equità controfattuale può aiutare a identificare questi tipi di discrepanze in modo da poterli risolvere.
D'altra parte, lo svantaggio principale dell'equità controfattuale è che forniscono una visione olistica dei bias nelle previsioni del modello. L'identificazione e l'analisi Correggere alcune disuguaglianze in coppie di esempi potrebbe non essere sufficiente per risolvere problemi di bias sistemici che interessano interi sottogruppi di esempi.
Nei casi in cui è possibile, i professionisti possono considerare l'uso di entrambe le risorse l'analisi dell'equità (utilizzando una metrica come la parità demografica o l'uguaglianza un'opportunità comune) nonché un'analisi dell'equità controfattuale per ottenere la di approfondimenti sui potenziali problemi di bias che necessitano di correzioni.
Allenamento: verifica le tue conoscenze
Nell'insieme di previsioni della Figura 7 precedente, quale delle seguenti coppie di identiche (esclusa l'appartenenza al gruppo) esempi che hanno ricevuto previsioni che violano l'equità controfattuale?
Riepilogo
Parità demografica, uguaglianza delle opportunità, e l'equità controfattuale offrono ciascuna diverse definizioni matematiche di e l'equità per le previsioni del modello. Sono solo tre possibili modi per quantificare l'equità. Alcune definizioni di equità sono mutuamente a vicenda incompatibile, il che significa che potrebbe essere impossibile soddisfarle contemporaneamente per un in base alle previsioni del modello.
Come si fa a scegliere il modello "giusta" e l'equità operativa per il tuo modello? Devi considerare il contesto in cui vengono utilizzati e gli obiettivi generali che vuoi realizzare. Ad esempio, l'obiettivo è raggiungere un'equa rappresentazione (in questo caso, la parità demografica può essere la metrica ottimale) oppure raggiungere le pari opportunità (in questo caso, l'uguaglianza delle opportunità può essere metrica)?
Per scoprire di più sull'equità dell'ML ed esplorare questi problemi in modo più approfondito, consulta Equità e machine learning: limitazioni e opportunità di Solon Barocas, Moritz Hardt e Arvind Narayanan.