Equidad: Mitigación de sesgos

Una vez que esto se convierte en fuente de sesgo se identificó en los datos de entrenamiento, podemos tomar medidas proactivas para mitigar sus efectos. Existen dos estrategias principales en las que el aprendizaje automático (AA) que los ingenieros suelen emplear para corregir el sesgo:

  • Aumentar los datos de entrenamiento
  • Ajustar la función de pérdida del modelo

Aumento de los datos de entrenamiento

Si en una auditoría de los datos de entrenamiento se identificaron problemas de errores faltantes, o datos sesgados, la forma más directa de abordar el problema suele ser para recopilar datos adicionales.

Sin embargo, si bien aumentar los datos de entrenamiento puede ser ideal, este enfoque es que también puede ser inviable, ya sea debido a la falta de las restricciones de datos o recursos disponibles que impiden su recopilación. Por ejemplo: recopilar más datos podría ser demasiado costoso, llevar mucho tiempo o podría no ser viable debido a restricciones legales o de privacidad.

Ajusta la función de optimización del modelo

En los casos en que no sea viable recopilar más datos de entrenamiento, para mitigar el sesgo es ajustar la forma en que se calcula la pérdida durante capacitación. Por lo general, usamos una función de optimización, como pérdida logística para penalizar el modelo incorrecto predicciones. Sin embargo, la pérdida logística no incluye la pertenencia a un subgrupo consideración. Así que en lugar de usar pérdida logística, podemos elegir una optimización función diseñada para penalizar errores de una manera consciente de la equidad que para contrarrestar los desequilibrios que identificamos en los datos de entrenamiento.

La biblioteca TensorFlow Model Remediation proporciona utilidades para aplicar dos Diferentes técnicas de mitigación de sesgos durante el entrenamiento del modelo:

  • MinDiff: MinDiff tiene como objetivo equilibrar los errores de dos porciones de datos diferentes (estudiantes hombres/mujeres versus estudiantes no binarios) agregando una penalización por diferencias en las distribuciones de predicción de los dos grupos.

  • Vinculación contrafáctica de logits: La sincronización contrafáctica de logit (CLP) tiene como objetivo garantizar que el cambio atributo de un ejemplo dado no altera la predicción del modelo para ese ejemplo. Por ejemplo, si un conjunto de datos de entrenamiento contiene dos ejemplos cuyo los valores del atributo son idénticos, excepto que uno tiene un valor gender de male y el otro tiene un valor de gender de nonbinary, CLP agregará una penalización si las predicciones para estos dos ejemplos son diferentes.

Las técnicas que eliges para ajustar la función de optimización son depende de los casos de uso del modelo. En la próxima sección, un análisis más detallado de cómo abordar la tarea de evaluar la equidad de un modelo considerando estos casos de uso.

Ejercicio: Comprueba tus conocimientos

¿Cuáles de las siguientes afirmaciones sobre las técnicas de mitigación de sesgos son verdaderas?
MinDiff y CLP penalizan las discrepancias en el rendimiento del modelo se relacionan con atributos sensibles
Ambas técnicas tienen como objetivo mitigar el sesgo al penalizar la predicción errores resultantes de un desequilibrio en el grado de sensibilidad de los atributos representados en los datos de entrenamiento.
MinDiff penaliza las diferencias en la distribución general de predicciones para diferentes porciones de datos, mientras que CLP penaliza en las predicciones de pares individuales de ejemplos.
MinDiff aborda el sesgo alineando las distribuciones de puntuaciones de dos subgrupos. El CLP aborda los sesgos garantizando que los ejemplos individuales sean no se traten de manera diferente solo debido a su pertenencia a un subgrupo.
Siempre será útil agregar más ejemplos al conjunto de datos de entrenamiento. para contrarrestar el sesgo en las predicciones de un modelo.
Agregar más ejemplos de entrenamiento es una estrategia eficaz para mitigar el sesgo, pero la composición de los nuevos datos de entrenamiento de seguridad en la nube. Si los ejemplos de entrenamiento adicionales son similares desequilibrio en los datos originales, probablemente no ayuden a mitigar el sesgo existente.
Si mitigas el sesgo agregando más datos de entrenamiento, tampoco deberían aplicar MinDiff o CLP durante el entrenamiento.
Mejorar los datos de entrenamiento y aplicar técnicas como MinDiff o CLP pueden ser complementarios. Por ejemplo, un ingeniero de AA podría para recopilar suficientes datos de entrenamiento adicionales para reducir la discrepancia en el rendimiento en un 30% y, luego, usar MinDiff para reducir aún más la cantidad la discrepancia en otro 50%.