En la sección anterior, evaluamos la equidad de nuestro modelo de admisiones con paridad demográfica, al comparar las tasas de aceptación generales de para distintos grupos demográficos.
De manera alternativa, podríamos comparar las tasas de aceptación solo de los candidatos del grupo mayoritario y del grupo minoritario. Si las tasas de aceptación de estudiantes calificados en ambos grupos son iguales, el modelo exhibe igualdad de oportunidades: los estudiantes con nuestra etiqueta preferida ("calificado para admisión") tienen un más probabilidades de ser admitido, independientemente del grupo demográfico al que pertenezcan. a los que tiene acceso una cuenta.
Revisemos el grupo de candidatos de la sección anterior:
| Grupo mayoritario | Grupo minoritario | |
|---|---|---|
| Calificado | 35 | 15 |
| No cumple con los requisitos | 45 | 5 |
Supongamos que el modelo de admisiones acepta 14 candidatos del grupo mayoritario. y 6 candidatos del grupo minoritario. Las decisiones del modelo satisfacen igualdad de oportunidades, ya que la tasa de aceptación de las mayorías calificadas y de candidatos minoritarios calificados es del 40%.
La siguiente tabla cuantifica las cantidades que respaldan las solicitudes rechazadas y aceptadas candidatos en la Figura 4.
| Grupo mayoritario | Grupo minoritario | |||
|---|---|---|---|---|
| Aceptado | Rechazado | Aceptado | Rechazado | |
| Calificado | 14 | 21 | 6 | 9 |
| No cumple con los requisitos | 0 | 45 | 0 | 5 |
Ventajas y desventajas
El beneficio clave de la igualdad de oportunidades es que permite que el modelo la proporción de predicciones positivas y negativas para variar entre grupos demográficos siempre que el modelo tenga el mismo éxito para predecir la etiqueta preferida ("calificado para admisión") para ambos grupos.
Las predicciones del modelo en la Figura 4 no satisfacen la paridad demográfica. como estudiante del grupo mayoritario tiene un 17.5% de probabilidades de ser aceptado y un estudiante del grupo minoritario tiene un 30% de probabilidades de ser aceptado. Sin embargo, Un estudiante calificado tiene un 40% de probabilidades de ser aceptado, independientemente de lo que grupo al que pertenecen, que es un resultado más justo en este caso de uso de un modelo particular.
Una desventaja de la igualdad de oportunidades es que está diseñada para usarse casos en los que hay una etiqueta preferida clara. Si es igualmente importante que el modelo prediga tanto la clase positiva (“calificado para admisión”) y negativa ("no calificada para la admisión") para todos los grupos demográficos, puede que tenga sentido usar la métrica probabilidades equitativas, que imponen tasas de éxito iguales para ambas etiquetas.
Otro inconveniente de la igualdad de oportunidades es que evalúa la equidad
comparando las tasas de error en conjunto de los grupos demográficos, que pueden
no siempre será factible. Por ejemplo, si el conjunto de datos
de nuestro modelo de admisiones
no tenías un atributo de demographic_group, no sería posible
desglosar las tasas de aceptación de los candidatos mayoritarios y minoritarios calificados
y compararlos para ver si se cumple la igualdad de oportunidades.
En la siguiente sección, veremos otra métrica de equidad, contrafáctica equidad, que se puede emplear en situaciones en las que los datos demográficos no existen en todos los ejemplos.
Ejercicio: Comprueba tus conocimientos
Es posible que las predicciones de un modelo satisfagan ambos la igualdad de oportunidades y la paridad.
Por ejemplo, digamos que un clasificador binario (cuya etiqueta preferida es la clase positiva) se evalúa en 100 ejemplos, con resultados se muestran en las siguientes matrices de confusión, desglosadas por grupo demográfico (mayoría y minoría):
| Grupo mayoritario | Grupo minoritario | |||
|---|---|---|---|---|
| Predicción positiva | Predicción negativa | Predicción positiva | Predicción negativa | |
| Positivo real | 6 | 12 | 3 | 6 |
| Negativo real | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Tanto los grupos mayoritarios como los minoritarios tienen una tasa de predicción positiva del 25%, satisfaciendo la paridad demográfica y una tasa de verdaderos positivos. (porcentaje de ejemplos con la etiqueta preferida que son clasificadas de forma correcta) del 33%, que satisface la igualdad de oportunidades.