Equità: mitigare i bias

Una volta che è una fonte di pregiudizi identificato nei dati di addestramento, possiamo adottare misure proattive mitigarne gli effetti. Esistono due strategie principali per il machine learning (ML) che gli ingegneri impiegano per rimediare ai pregiudizi:

  • Potenziamento dei dati di addestramento.
  • Regolazione della funzione di perdita del modello.

Potenziamento dei dati di addestramento

Se un controllo dei dati di addestramento ha individuato problemi con o dati distorti, il modo più diretto per affrontare il problema è spesso per raccogliere altri dati.

Tuttavia, anche se l'aumento dei dati di addestramento può essere la soluzione ideale, lo svantaggio di questo approccio è che può anche essere inattuabile, sia per la mancanza di a vincoli di risorse o dati disponibili che impediscono la raccolta dei dati. Ad esempio: la raccolta di più dati può essere troppo costosa, richiedere molto tempo o non essere attuabile a causa restrizioni legali/sulla privacy.

Regolazione della funzione di ottimizzazione del modello

Nei casi in cui non è possibile raccogliere dati di addestramento aggiuntivi, l'approccio per mitigare i bias è regolare il modo in cui viene calcolata la perdita durante il modello. addestramento. Solitamente utilizziamo una funzione di ottimizzazione come perdita di log per penalizzare il modello errato per le previsioni. Tuttavia, la perdita di log non comporta l'appartenenza ai sottogruppi considerazione. Invece di utilizzare la perdita di log, possiamo scegliere un'ottimizzazione funzione progettata per penalizzare gli errori in modo consapevole che contrasta gli squilibri identificati nei dati di addestramento.

La libreria TensorFlow Model Remediation offre utilità per l'applicazione di diverse tecniche di mitigazione dei bias durante l'addestramento del modello:

  • MinDiff: MinDiff punta a bilanciare gli errori di due diverse sezioni di dati (studenti maschili/femminili rispetto a studenti non binari) aggiungendo una penalità per le differenze nelle distribuzioni della previsione per i due gruppi.

  • Accoppiamento di Logit controfattuale: Il Counterfactual Logit Pairing (CLP) ha lo scopo di garantire che la modifica di un determinato esempio non altera la previsione del modello per quel che esempio. Ad esempio, se un set di dati di addestramento contiene due esempi i cui i valori delle caratteristiche sono identici, ad eccezione del fatto che uno ha un valore gender pari a male e l'altra ha un valore gender pari a nonbinary, il CLP aggiungerà una penalità se le previsioni per questi due esempi sono diverse.

Le tecniche scelte per regolare la funzione di ottimizzazione sono dipendono dai casi d'uso del modello. Nella prossima sezione, prenderemo dando un'occhiata più da vicino all'approccio da adottare per valutare l'equità di un modello prendendo in considerazione questi casi d'uso.

Allenamento: verifica le tue conoscenze

Quali delle seguenti affermazioni sulle tecniche di mitigazione dei bias sono vere?
Sia MinDiff che CLP penalizzano le discrepanze nelle prestazioni del modello legato ad attributi sensibili
Entrambe le tecniche mirano a mitigare i bias penalizzando la previsione errori derivanti da squilibri nel modo in cui gli attributi sensibili sono rappresentati nei dati di addestramento.
MinDiff penalizza le differenze nella distribuzione complessiva dei le previsioni per diverse sezioni di dati, mentre il CLP penalizza e discrepanze nelle previsioni per singole coppie di esempi.
MinDiff risolve i bias allineando le distribuzioni dei punteggi per due sottogruppi. Il CLP contrasta i pregiudizi garantendo che i singoli esempi vengano non in modo diverso solo a causa dell'appartenenza al sottogruppo.
L'aggiunta di altri esempi al set di dati di addestramento sarà sempre utile contro i bias nelle previsioni di un modello.
Aggiungere altri esempi di formazione è una strategia efficace per attenuando i pregiudizi, ma la composizione dei nuovi dati importanti. Se gli esempi di addestramento aggiuntivi sono simili rispetto ai dati originali, probabilmente non bastano i pregiudizi esistenti.
Se intendi mitigare i bias aggiungendo altri dati di addestramento, non deve applicare anche MinDiff o CLP durante l'addestramento.
Aumentare i dati di addestramento e applicare tecniche come MinDiff o CLP possono essere complementari. Ad esempio, un ML engineer potrebbe essere in grado raccogliere dati di addestramento aggiuntivi sufficienti a ridurre una discrepanza delle prestazioni del 30% e poi usare MinDiff per ridurre ulteriormente una discrepanza di un altro 50%.
Indietro
Identificazione dei bias (10 min)
Avanti
Valutazione dei bias (5 min)