Eine Methode, mit der wir die Vorhersagen unseres Modells auf Fairness bewerten können, besteht darin, die Zulassungsquote für die Mehrheitsgruppe und die Minderheitsgruppe vergleichen. Wenn die beiden Zulassungsraten identisch sind, zeigen die Vorhersagen des Modells demografische Einheitlichkeit: die Chancen einer Studierenden, an der Universität zugelassen zu werden, .
Angenommen, das Zulassungsmodell akzeptiert 16 Kandidaten aus der Mehrheit und 4 Kandidaten aus der Minderheitsgruppe. Die Entscheidungen des Modells die demografische Gleichheit erfüllt, da die Akzeptanzrate sowohl für bei 20 % der Kandidaten für eine Minderheit.
![Kandidatenpool, aufgeteilt in zwei Gruppen: abgelehnte Kandidaten (64 blau)
Schüler, 16 Schüler in Orange) und akzeptierte Kandidaten (16 Schüler in Blau)
Schüler, 4 orangefarbene Schüler).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=19&hl=de)
In der folgenden Tabelle sind die Zahlen für abgelehnte und akzeptierte Kandidaten in Abbildung 2.
Mehrheitsgruppe | Minderheitengruppe | |
---|---|---|
Angenommen | 16 | 4 |
Abgelehnt | 64 | 16 |
Akzeptanzrate | 20 % | 20 % |
Übung: Teste deine Intuition
Der Universitätsausschuss erwägt, die demografische Gleichheit zu verwenden. als Messwert für die Fairness-Beurteilung für ihr Modell und benötigt Ihre Hilfe zu den Vor- und Nachteilen dieses Ansatzes. Können Sie eines ausmachen? Pro und ein Nachteil der Bewertung der Vorhersagen des Modells anhand demografischer Merkmale Parität?
Fahren Sie mit dem nächsten Abschnitt Vorteile und Nachteile. Hier sind die wichtigsten Vor- und Nachteile der Verwendung von Gleichheit der demografischen Merkmale.
Vor- und Nachteile
Der Hauptvorteil der demografischen Gleichheit in unserem Zulassungsbeispiel ist, dass sie stellt sicher, dass sowohl Mehrheits- als auch Minderheitengruppen im zugelassenen Klassen von Studenten im gleichen Verhältnis wie sie im Kandidatenpool sind. Das heißt, wenn 80% der Bewerber aus einer Mehrheitsgruppe bestehen. und 20% Kandidaten für eine Minderheitengruppe, garantiert die demografische Gleichheit, dass die Gruppe der Schüler und Studenten werden zu 80% der Mehrheitsgruppe angehören und zu 20% einer Minderheitsgruppe angehören. Schüler und Studenten.
Die demografische Gleichheit hat jedoch einen entscheidenden Nachteil: Sie berücksichtigt nicht Verteilung der Vorhersagen für jede demografische Gruppe (die Anzahl der Schüler/Studenten, die als „qualifiziert“ klassifiziert wurden oder „unqualifiziert“) berücksichtigt werden, und evaluieren, wie die 20 Zeitblöcke zugewiesen werden sollten.
Sehen wir uns noch einmal die Zusammensetzung unseres Kandidatenpools oben an. Dieses Mal klassifizieren wir die Kandidaten nicht nur nach demografischen Gruppen, sondern auch danach, ob das Modell jeden Kandidaten als „qualifiziert“ bewertet hat oder "unqualifiziert":
![Dieselbe Aufschlüsselung von abgelehnten und akzeptierten Kandidaten wie in
im vorherigen Bild, aber diesmal die 50 Schüler,
(35 blaue und 15 orangefarbene Schüler/Studenten) sind in Grün schattiert,
und die Untergruppe der qualifizierten Lernenden, die abgelehnt wurden (19 blaue Schüler,
11 orangefarbene Schüler/Studenten) sind mit einem X markiert.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=19&hl=de)
In der folgenden Tabelle sind die Zahlen für abgelehnte und akzeptierte Kandidaten in Abbildung 3.
Mehrheitsgruppe | Minderheitengruppe | |||
---|---|---|---|---|
Akzeptiert | Abgelehnt | Akzeptiert | Abgelehnt | |
Qualifiziert | 16 | 19 | 4 | 11 |
Ungeeignet | 0 | 45 | 0 | 5 |
Lassen Sie uns die Akzeptanzraten für qualifizierte Lernende in beiden Gruppen tabellarisch darstellen:
Obwohl beide Gruppen eine Gesamtakzeptanzrate von 20 % haben, der demografischen Einheit bei 46 % liegt, während die Akzeptanzrate bei Schülern, die eine Minderheitsbevölkerung haben, nur bei 27 % liegt.
In Fällen wie diesen, bei denen die Verteilung eines bevorzugten Labels (z. B. "qualifiziert") für beide Gruppen stark variieren, kann die demografische Gleichheit nicht der optimale Messwert für die Bewertung von Fairness. Im nächsten sehen wir uns einen alternativen Messwert zur Fairness an: Chancengleichheit, wo diese Unterschiede berücksichtigt werden.