Bisher wurde bei unseren Diskussionen über Fairness-Messwerte angenommen, dass unser Training und Testbeispiele umfassende demografische Daten für die demografische Gruppe enthalten, zu bewerten. Häufig ist dies jedoch nicht der Fall.
Angenommen, unser Zulassungs-Dataset enthält keine vollständigen demografischen Daten. Stattdessen wird die Zugehörigkeit zu demografischen Gruppen nur für einen kleinen Prozentsatz erfasst. z. B. Schüler, die sich dafür entschieden haben, die Gruppe selbst zu identifizieren, wozu sie gehörten. In diesem Fall ist die Aufschlüsselung unserer Kandidaten in akzeptierte und abgelehnte Lernende sieht so aus:
Es ist hier nicht möglich, Modellvorhersagen für keine der demografischen Gruppen zu evaluieren. Gleichheit oder Chancengleichheit, da wir keine demografischen Daten haben. für 94% unserer Beispiele. Bei den 6% der Beispiele, die demografische Merkmale haben, können wir immer noch Paare individueller Vorhersagen vergleichen, (eine Kandidatur für die Mehrheit oder eine Minderheit) und prüfen, ob sie vom Modell gerecht behandelt werden.
Nehmen wir beispielsweise an, wir haben die Elementdaten verfügbar für zwei Kandidaten: eine in der Mehrheitsgruppe und eine in der Minderheitsgruppe Gruppe, die im Bild unten mit einem Stern gekennzeichnet ist, und festgestellt, dass sie die in jeder Hinsicht für die Zulassung qualifiziert sind. Wenn das Modell dieselbe Vorhersage für beide Kandidaten (d.h. es werden beide oder beide Kandidaten akzeptiert), gilt das als kontrafaktische Fairness für diese Beispiele. Kontrafaktische Fairness besagt, dass zwei Beispiele, die in jeder Hinsicht identisch sind, mit Ausnahme eines bestimmten sensiblen Attributs. (hier: Mitgliedschaft in einer demografischen Gruppe) zum gleichen Modell führen. eine Vorhersage treffen.
Vor- und Nachteile
Wie bereits erwähnt, besteht ein wesentlicher Vorteil der kontrafaktischen Fairness darin, kann verwendet werden, um Vorhersagen auf Fairness in vielen Fällen zu bewerten, wenn die Verwendung von anderen Metriken nicht realisierbar sind. Enthält ein Dataset keinen vollständigen Satz an Daten für die relevanten, berücksichtigten Gruppenattribute enthält, Fairness anhand der demografischen Parität oder Gleichheit Geschäftschancen. Wenn diese Gruppenattribute jedoch nur für einen Teil und es ist möglich, vergleichbare Äquivalenzpaare in verschiedenen Gruppen nutzen, können Praktiker kontrafaktische Fairness verwenden, als Metrik, um das Modell auf potenzielle Verzerrungen in Vorhersagen zu überprüfen.
Da außerdem Metriken wie die demografische Parität und Gleichheit Gruppen als Ganzes zu bewerten, können Verzerrungen, die sich auf auf der Ebene einzelner Vorhersagen, die durch kontrafaktische Fairness nutzen. Nehmen wir zum Beispiel an, akzeptiert qualifizierte Kandidaten aus der Mehrheitsgruppe und der Minderheit. im gleichen Verhältnis, aber die qualifizierteste Minderheitskandidende sind abgelehnt, während der am besten geeignete Mehrheitskandidat mit den gleichen Anmeldedaten akzeptiert. Eine kontrafaktische Fairness-Analyse kann helfen, diese Art von Abweichungen beheben, damit sie beseitigt werden können.
Der wesentliche Nachteil der kontrafaktischen Fairness ist jedoch, dass sie nicht eine ganzheitliche Sicht auf Verzerrungen in Modellvorhersagen bieten. Das Erkennen und Es reicht unter Umständen nicht aus, einige Ungleichheiten in zwei Beispielen zu beheben. Probleme systemischer Voreingenommenheiten anzugehen, die ganze Untergruppen von Beispielen betreffen.
Wo dies möglich ist, können Fachkräfte auch eine aggregierte Fairness-Analyse (unter Verwendung einer Metrik wie demografischer Parität oder Gleichheit und eine kontrafaktische Fairness-Analyse durchführen, um zu potenziellen Problemen mit Verzerrungen, die behoben werden müssen.
Übung: Wissenstest
<ph type="x-smartling-placeholder">Welche der Vorhersagen in Abbildung 7 oben folgende Paare identisch (ohne Gruppenmitgliedschaft) Beispiele erhaltenen Vervollständigungen, die gegen kontrafaktische Fairness verstoßen?
Zusammenfassung
Demografische Einheit Chancengleichheit, und kontrafaktische Fairness bieten beide unterschiedliche mathematische Definitionen Fairness für Modellvorhersagen. Und das sind nur drei mögliche zur Quantifizierung von Fairness. Einige Definitionen von Fairness beziehen sich sogar auf nicht kompatibel, Das heißt, es ist unmöglich, sie für einen bestimmten Zeitraum Vorhersagen des Modells zu ermitteln.
Wie wählen Sie also das „richtige“ Fairness-Messwert für Ihr Modell? Erforderliche Schritte berücksichtigen Sie den Kontext, in dem sie verwendet werden, und die übergeordneten Ziele, die Sie erreichen möchten. Ist z. B. das Ziel, eine gleichmäßige Repräsentation (in diesem Fall kann die demografische Parität der optimale Messwert sein) oder Chancengleichheit erreichen (hier ist Chancengleichheit Messwert)?
Wenn Sie mehr über ML Fairness erfahren und diese Themen genauer untersuchen möchten, siehe Fairness and Machine Learning: Limitations and Opportunities von Solon Barocas, Moritz Hardt und Arvind Narayanan.