Un método que podemos usar para evaluar las predicciones de equidad de nuestro modelo es comparar la tasa de admisión del grupo mayoritario y del grupo minoritario, Si las dos tasas de admisión son iguales, las predicciones del modelo muestran Paridad demográfica: más probabilidades de que los estudiantes ingresen en la universidad no varía grupo demográfico.
Supongamos que el modelo de admisiones acepta 16 candidatos de la mayoría. y 4 candidatos del grupo minoritario. Las decisiones del modelo satisfacen la paridad demográfica, ya que la tasa de aceptación tanto de la mayoría como de de candidatos minoritarios es del 20%.
![Grupo de candidatos, dividido en dos grupos: candidatos rechazados (64 de color azul
estudiantes, 16 estudiantes naranjas) y candidatos aceptados (16 azules
y 4 de color naranja).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=6&hl=es)
La siguiente tabla cuantifica las cantidades que respaldan las solicitudes rechazadas y aceptadas candidatos en la Figura 2.
Grupo mayoritario | Grupo minoritario | |
---|---|---|
Aceptado | 16 | 4 |
Rechazado | 64 | 16 |
Porcentaje de aceptación | 20% | 20% |
Ejercicio: Evalúa tu intuición
El comité de admisiones de la universidad está considerando usar la paridad demográfica como métrica de evaluación de equidad para su modelo y necesita tu orientación sobre las ventajas y desventajas de este enfoque. ¿Puedes identificar uno pro y una desventaja de evaluar las predicciones del modelo usando datos demográficos paridad?
Continúa leyendo la siguiente sección, Beneficios y Desventajas, para nuestro resumen de las ventajas y desventajas clave del uso de paridad demográfica.
Ventajas y desventajas
El beneficio clave de la paridad demográfica en nuestro ejemplo de admisiones es que garantiza que tanto los grupos mayoritarios como los minoritarios estén representados de estudiantes en la misma proporción que en el grupo de candidatos. Es decir, si el grupo de postulantes está compuesto por un 80% de candidatos del grupo mayoritario y 20% de los candidatos de grupos minoritarios, la paridad demográfica de los ingresantes también serán un 80% estudiantes del grupo mayoritario y un 20% de grupos minoritarios para estudiantes.
Sin embargo, la paridad demográfica tiene un inconveniente importante: no distribución de las predicciones para cada grupo demográfico (la cantidad de estudiantes clasificados como "calificados" "no calificado") cuando y evaluar cómo se deben asignar los 20 espacios de admisión.
Veamos de nuevo la composición del grupo de candidatos. Sin embargo, esta vez clasificaremos a los candidatos no solo por grupo demográfico, sino también si el modelo calificó a cada candidato como “calificado” o "unqualified":
![El mismo desglose de los candidatos Rechazados y Aceptados como en
con la imagen anterior, pero esta vez los 50 estudiantes que
calificados (35 estudiantes azules, 15 estudiantes naranjas) aparecen sombreados en verde,
y el subconjunto de estudiantes calificados que se rechazaron (19 estudiantes azules,
11 estudiantes de color naranja) están marcados con una X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=6&hl=es)
La siguiente tabla cuantifica las cantidades que respaldan las solicitudes rechazadas y aceptadas candidatos en la Figura 3.
Grupo mayoritario | Grupo minoritario | |||
---|---|---|---|---|
Aceptado | Rechazado | Aceptado | Rechazado | |
Calificado | 16 | 19 | 4 | 11 |
No cumple con los requisitos | 0 | 45 | 0 | 5 |
Tabulamos las tasas de aceptación de estudiantes calificados para ambos grupos:
Aunque ambos grupos tienen una tasa de aceptación general del 20%, lo que satisface paridad demográfica, la tasa de aceptación de la mayoría de los estudiantes calificados es del 46% mientras que la tasa de aceptación de estudiantes de minorías calificadas es de solo un 27%.
En casos como este, cuando la distribución de una etiqueta preferida (como “calificado”) varía mucho entre ambos grupos, la paridad demográfica no sería la métrica óptima para evaluar la equidad. En la próxima veremos una métrica alternativa de equidad, igualdad de oportunidades que toma en cuenta estas diferencias.