Fairness: Demografische Gleichheit

Eine Methode, mit der wir die Vorhersagen unseres Modells auf Fairness bewerten können, besteht darin, die Zulassungsquote für die Mehrheitsgruppe und die Minderheitsgruppe vergleichen. Wenn die beiden Zulassungsraten identisch sind, zeigen die Vorhersagen des Modells demografische Einheitlichkeit: die Chancen einer Studierenden, an der Universität zugelassen zu werden, .

Angenommen, das Zulassungsmodell akzeptiert 16 Kandidaten aus der Mehrheit und 4 Kandidaten aus der Minderheitsgruppe. Die Entscheidungen des Modells die demografische Gleichheit erfüllt, da die Akzeptanzrate sowohl für bei 20 % der Kandidaten für eine Minderheit.

Abbildung 2. In zwei Gruppen aufgeteilter Kandidatenpool: abgelehnte Kandidaten und akzeptierte Kandidaten. Sowohl die Mehrheit (blau) als auch die Minderheit (orange) Gruppen eine Akzeptanzrate von 20 % haben.

In der folgenden Tabelle sind die Zahlen für abgelehnte und akzeptierte Kandidaten in Abbildung 2.

	Mehrheitsgruppe	Minderheitengruppe
Angenommen	16	4
Abgelehnt	64	16
Akzeptanzrate	20 %	20 %

Übung: Teste deine Intuition

Der Universitätsausschuss erwägt, die demografische Gleichheit zu verwenden. als Messwert für die Fairness-Beurteilung für ihr Modell und benötigt Ihre Hilfe zu den Vor- und Nachteilen dieses Ansatzes. Können Sie eines ausmachen? Pro und ein Nachteil der Bewertung der Vorhersagen des Modells anhand demografischer Merkmale Parität?

Können Sie Probleme mit den Featuredaten feststellen?

Hier klicken, um unsere Antworten anzuzeigen

Vor- und Nachteile

Der Hauptvorteil der demografischen Gleichheit in unserem Zulassungsbeispiel ist, dass sie stellt sicher, dass sowohl Mehrheits- als auch Minderheitengruppen im zugelassenen Klassen von Studenten im gleichen Verhältnis wie sie im Kandidatenpool sind. Das heißt, wenn 80% der Bewerber aus einer Mehrheitsgruppe bestehen. und 20% Kandidaten für eine Minderheitengruppe, garantiert die demografische Gleichheit, dass die Gruppe der Schüler und Studenten werden zu 80% der Mehrheitsgruppe angehören und zu 20% einer Minderheitsgruppe angehören. Schüler und Studenten.

Die demografische Gleichheit hat jedoch einen entscheidenden Nachteil: Sie berücksichtigt nicht Verteilung der Vorhersagen für jede demografische Gruppe (die Anzahl der Schüler/Studenten, die als „qualifiziert“ klassifiziert wurden oder „unqualifiziert“) berücksichtigt werden, und evaluieren, wie die 20 Zeitblöcke zugewiesen werden sollten.

Sehen wir uns noch einmal die Zusammensetzung unseres Kandidatenpools oben an. Dieses Mal klassifizieren wir die Kandidaten nicht nur nach demografischen Gruppen, sondern auch danach, ob das Modell jeden Kandidaten als „qualifiziert“ bewertet hat oder "unqualifiziert":

<ph type="x-smartling-placeholder">

</ph> Abbildung 3: Dieselben Aufschlüsselungen für abgelehnte und akzeptierte Kandidaten wie in Abbildung 2, aber diesmal alle qualifizierten Studenten in der Mehrheit und Minderheiten in Grün schattiert sind und die die abgelehnt wurden, sind mit einem X gekennzeichnet. der 35 qualifizierten Mehrheitsgruppen Schüler/Studenten wurden 16 angenommen. Von den 15 qualifizierten Minderheitengruppen 4 wurden akzeptiert.

In der folgenden Tabelle sind die Zahlen für abgelehnte und akzeptierte Kandidaten in Abbildung 3.

	Mehrheitsgruppe		Minderheitengruppe
	Akzeptiert	Abgelehnt	Akzeptiert	Abgelehnt
Qualifiziert	16	19	4	11
Ungeeignet	0	45	0	5

Lassen Sie uns die Akzeptanzraten für qualifizierte Lernende in beiden Gruppen tabellarisch darstellen:

$$\text{Majority acceptance rate} = \frac{\text{qualified majority students accepted}}{\text{total qualified majority students}} = \frac{16}{35} = \text{46%}$$

$$\text{Minority acceptance rate} = \frac{\text{qualified minority students accepted}}{\text{total qualified minority students}} = \frac{4}{15} = \text{27%}$$

Obwohl beide Gruppen eine Gesamtakzeptanzrate von 20 % haben, der demografischen Einheit bei 46 % liegt, während die Akzeptanzrate bei Schülern, die eine Minderheitsbevölkerung haben, nur bei 27 % liegt.

In Fällen wie diesen, bei denen die Verteilung eines bevorzugten Labels (z. B. "qualifiziert") für beide Gruppen stark variieren, kann die demografische Gleichheit nicht der optimale Messwert für die Bewertung von Fairness. Im nächsten sehen wir uns einen alternativen Messwert zur Fairness an: Chancengleichheit, wo diese Unterschiede berücksichtigt werden.

Hinweis: Es kann weitere Vor- und Nachteile haben, wenn die demografische Gleichheit nicht die ebenfalls eine Überlegung wert sind, je nachdem, das Modell erreicht werden soll, und den sozialen Kontext, in dem Vorhersagen werden verwendet.

Wichtige Begriffe:

• Voreingenommenheit (Ethik/Fairness)
• Demografische Einheit