Im vorherigen Abschnitt haben wir unser Zulassungsmodell auf Fairness Gleichheit der demografischen Merkmale, indem Sie die Gesamtakzeptanzraten für beide demografische Gruppen.
Alternativ könnten wir die Akzeptanzraten nur für die qualifizierten Kandidaten in der Mehrheits- und der Minderheitsgruppe. Wenn die Annahmequoten für qualifizierte Schüler in beiden Gruppen gleich sind, zeigt das Modell Chancengleichheit: Studenten mit unserem bevorzugten Label ("zulassungsberechtigt") haben die gleichen die Chance auf eine Zulassung zu erhalten, unabhängig von der demografischen Gruppe, zu der sie gehören. an.
Sehen wir uns noch einmal den Kandidatenpool aus dem vorherigen Abschnitt an:
| Mehrheitsgruppe | Minderheitengruppe | |
|---|---|---|
| Qualifiziert | 35 | 15 |
| Ungeeignet | 45 | 5 |
Angenommen, das Zulassungsmodell akzeptiert 14 Kandidaten aus der Mehrheitsgruppe. und sechs Kandidaten aus der Minderheitsgruppe. Die Entscheidungen des Modells erfüllen Chancengleichheit, da die Akzeptanzrate der qualifizierten Mehrheit und Kandidaten für qualifizierte Minderheiten bei 40%.
In der folgenden Tabelle sind die Zahlen für abgelehnte und akzeptierte Kandidaten in Abbildung 4.
| Mehrheitsgruppe | Minderheitengruppe | |||
|---|---|---|---|---|
| Akzeptiert | Abgelehnt | Akzeptiert | Abgelehnt | |
| Qualifiziert | 14 | 21 | 6 | 9 |
| Ungeeignet | 0 | 45 | 0 | 5 |
Vor- und Nachteile
Der Hauptvorteil der Chancengleichheit besteht darin, dass das Modell Verhältnis von positiven zu negativen Vorhersagen je nach demografischen Gruppen variieren, vorausgesetzt, dass das Modell das bevorzugte Label gleichermaßen erfolgreich vorhersagen kann („Eintrittsberechtigt“) für beide Gruppen.
Die Modellvorhersagen in Abbildung 4 erfüllen nicht die demografische Gleichheit, als Schüler oder Student in der Mehrheitsgruppe eine Wahrscheinlichkeit von 17,5% hat, dass er angenommen wird, und Schüler, die zu der Minderheit gehören, eine Chance von 30% haben, Sie können jedoch eine 40% ige Chance, zugelassen zu werden, unabhängig davon, Gruppe, der sie angehören, was in diesem Fall wohl ein faireres Ergebnis ist. für einen bestimmten Anwendungsfall.
Ein Nachteil der Chancengleichheit besteht darin, dass sie Fälle, in denen es ein eindeutig bevorzugtes Label gibt. Wenn es genauso wichtig ist, dass das Modell sowohl die positive Klasse (für die Zulassung qualifiziert) vorhersagt und negative Klasse ("nicht zugelassen" für alle demografischen Gruppen, ist es sinnvoll, stattdessen den Messwert gleichmäßige Chance, gleich hohe Erfolgsquoten für beide Labels haben.
Ein weiterer Nachteil der Chancengleichheit ist, dass hier Fairness bewertet wird.
indem Sie Fehlerraten für demografische Gruppen vergleichen,
nicht immer machbar sein. Wenn das Dataset unseres Zulassungsmodells
verfügte über keine Funktion von demographic_group, wäre es nicht möglich,
Zulassungsquoten für qualifizierte Mehrheits- und Minderheiten in Betracht ziehen
und vergleichen, um zu sehen,
ob die Chancengleichheit erfüllt ist.
Im nächsten Abschnitt schauen wir uns einen weiteren Messwert zur Fairness an: kontrafaktische die in Szenarien angewendet werden kann, in denen demografische Daten gibt es für alle Beispiele.
Übung: Wissenstest
Es ist möglich, dass die Vorhersagen eines Modells beide demografischen Gruppen erfüllen Gleichheit und Chancengleichheit.
Nehmen wir zum Beispiel an, ein binärer Klassifikator (mit dem bevorzugten Label ist die positive Klasse) wird anhand von 100 Beispielen bewertet, wobei Ergebnisse wie in den folgenden Wahrheitsmatrizen dargestellt, aufgeschlüsselt durch Demografische Gruppe (Mehrheit und Minderheit):
| Mehrheitsgruppe | Minderheitengruppe | |||
|---|---|---|---|---|
| Prognostiziert positiv | Vorhergesagtes negatives Ergebnis | Prognostiziert positiv | Vorhergesagtes negatives Ergebnis | |
| Tatsächlich positiv | 6 | 12 | 3 | 6 |
| Tatsächlich negativ | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Sowohl die Mehrheits- als auch die Minderheitsgruppe haben eine positive Vorhersagerate. von 25 % erreicht, sodass die demografische Gleichheit gerechtfertigt ist, und eine Rate richtig positiver Ergebnisse (Prozentsatz der Beispiele mit dem bevorzugten Label, die korrekt klassifiziert) von 33%, was Chancengleichheit gerecht wird.