Pour évaluer les prédictions d'équité de notre modèle, une méthode consiste à comparer le taux d'admission du groupe majeur et du groupe minoritaire. Si les deux taux d'admission sont égaux, alors les prédictions du modèle parité démographique : la probabilité d'admission des étudiants dans l'université ne varie pas groupe démographique.
Supposons que le modèle d'admissions accepte 16 candidats parmi la majorité et quatre candidats du groupe minoritaire. Les décisions du modèle satisferont la parité démographique, c'est-à-dire le taux d'acceptation parmi les candidats issus de minorités est de 20%.
![Pool de candidats, divisé en deux groupes: les candidats rejetés (64 candidats bleus
élèves, 16 élèves orange) et les candidats acceptés (16 élèves bleus)
élèves, quatre élèves orange).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=0&hl=fr)
Le tableau suivant quantifie les nombres accompagnant les demandes candidats comme indiqué dans la figure 2.
Groupe majoritaire | Groupe minoritaire | |
---|---|---|
Acceptée | 16 | 4 |
Refusé | 64 | 16 |
Taux d'acceptation | 20 % | 20 % |
Exercice: testez votre intuition
Le comité d'admission des universités envisage d'utiliser la parité démographique comme métrique d'évaluation de l'équité pour son modèle et a besoin de votre aide sur les avantages et les inconvénients de cette approche. Pouvez-vous en identifier un pro et un inconvénient à évaluer les prédictions du modèle à l'aide des données démographiques la parité ?
Lisez la suite de la section suivante, Avantages et Inconvénients : pour notre résumé des principaux avantages et inconvénients de l'utilisation parité démographique.
Avantages et inconvénients
Le principal avantage de la parité démographique pour notre exemple des admissions est qu'elle garantit que les groupes majoritaires et minoritaires sont représentés dans les annonces acceptées classe d'étudiants dans les mêmes proportions que dans le vivier de candidats. Autrement dit, si le groupe de candidats est composé à 80% de candidats majoritaires et 20% des candidats appartenant à la minorité, la parité démographique garantit que le groupe des admissions constitueront également 80% d'étudiants issus de groupes majoritaires et 20% d'élèves issus de minorités élèves.
La parité démographique, quant à elle, présente un inconvénient majeur: elle ne prend pas distribution des prédictions pour chaque groupe démographique (nombre de étudiants classés comme "qualifiés" par rapport à "non qualifié") à évaluer comment les 20 emplacements d'admission doivent être alloués.
Examinons à nouveau la composition de notre pool de candidats vu du dessus. Cependant, cette fois, nous classons les candidats non seulement par groupe démographique, mais aussi du fait que le modèle a évalué chaque candidat comme "qualifié". ou "non qualifié" :
![La répartition des candidats rejetés par rapport à ceux acceptés
à l'image précédente, mais cette fois, les 50 étudiants
qualifiées (35 élèves bleus, 15 élèves orange) sont ombrées en vert,
et le sous-ensemble d'étudiants qualifiés qui ont été rejetés (19 étudiants bleus,
11 élèves orange) sont signalés par un X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=0&hl=fr)
Le tableau suivant quantifie les nombres accompagnant les demandes candidats comme indiqué dans la figure 3.
Groupe majoritaire | Groupe minoritaire | |||
---|---|---|---|---|
Accepté | Refusé | Accepté | Refusé | |
Qualifié | 16 | 19 | 4 | 11 |
Non qualifié | 0 | 45 | 0 | 5 |
Faisons le tableau des taux d'acceptation pour les étudiants qualifiés des deux groupes:
Même si les deux groupes ont un taux d’acceptation global de 20%, ce qui est satisfaisant parité démographique, le taux d'acceptation des étudiants à la majorité qualifiée est de 46%, alors que le taux d'acceptation pour les étudiants des minorités qualifiées n'est que de 27%.
Dans ce cas, lorsque la distribution d'une étiquette préférée ("qualifiés") varient considérablement pour les deux groupes, la parité démographique peut ne sont pas la métrique optimale à choisir pour évaluer l'impartialité. Dans nous examinerons une autre métrique d'équité, l'égalité des chances, qui tient compte de ces différences.