Uczciwość: kontrfaktyczna uczciwość

Do tej pory w dyskusjach na temat wskaźników obiektywności zakładaliśmy, że nasze szkolenia a przykłady testowe zawierają kompleksowe dane demograficzne w podgrupach. Często jednak nie.

Załóżmy, że nasz zbiór danych dotyczących rekrutacji nie zawiera pełnych danych demograficznych. Zamiast tego członkostwo w grupach demograficznych jest rejestrowane tylko dla niewielkiego odsetka użytkowników. takich jak uczniowie, którzy zdecydowali się sami określić, do której grupy należą do której należy. W tym przypadku podział puli kandydatów na zaakceptowane i odrzuceni uczniowie wyglądają teraz tak:

Pula kandydująca 100 uczniów podzielona na 2 grupy: Odrzucone kandydaci (80 ikon uczniów) i Zaakceptowani kandydaci (20) ikony uczniów). Wszystkie ikony mają odcień szary (oznacza, że ich ikony grupa demograficzna jest nieznana), z wyjątkiem 6 ikon. Na liście Odrzucone grupę, 2 ikony uczniów są w cieniu niebieskim, a 2 ikony uczniów są w cieniu pomarańczowy. W grupie Zaakceptowane jedna ikona ucznia jest w cieniu niebieskim, a druga – w cieniu pomarańczowego.
Rysunek 5. Pula kandydatów z członkostwem w grupach demograficznych nieznane w przypadku niemal wszystkich kandydatów (ikony zacienione na szaro).

Nie można tutaj ocenić prognoz modelu dla żadnej z grup demograficznych równość szans, bo nie mamy danych demograficznych, dla 94% przykładów. 6% przykładów, które zawierają demografii, nadal możemy porównywać pary poszczególnych prognoz (kandydat partii większościowej lub mniejszościowej) i sprawdzić, czy został traktowane równomiernie przez model.

Załóżmy na przykład, że dokładnie sprawdziliśmy dane funkcji dostępne dla 2 kandydatów (1 w grupie większości, a drugiego w mniejszości grupie oznaczonych gwiazdką na poniższym obrazku) i stwierdzili, że są identyczne pod każdym względem. Jeśli model ta sama prognoza dla obu tych kandydatów (tj. obie odrzucają lub obieca kandydatów) spełnia to warunki kontrfaktyczne obiektywności w tych przykładach. Obiektywność kontrfaktyczna zakłada, że przykłady, które są identyczne pod każdym względem z wyjątkiem danego atrybutu poufnego (w tym przypadku przynależność do grupy demograficznej) powinna dawać taki sam model. z prognozą.

Ta sama pula kandydatów co na poprzednim obrazie, z wyjątkiem jedną niebieską ikonę ucznia (należąca do grupy większości użytkowników) oraz jedną pomarańczową ikonę ucznia (należącą do grupy mniejszościowej) w sekcji Odrzucone są oznaczone gwiazdką, co wskazuje, że te dwie propozycje są identyczne (oprócz grupy demograficznej).
Rysunek 6. Obiektywność kontrfaktyczna jest spełniony w przypadku 2 identycznych (zróżnicowaną tylko w odniesieniu do członkostwa w grupie demograficznej) z adnotacjami gwiazdka, ponieważ model podejmuje tę samą decyzję w przypadku obu z nich (Odrzucono).

Zalety i wady

Jak już wspomnieliśmy, jedną z najważniejszych zalet kontrfaktycznej obiektywności jest to, że można wykorzystać do oceny obiektywności prognoz w wielu przypadkach, gdy inne dane byłyby niewykonalne. Jeśli zbiór danych nie zawiera pełnego zbioru wartości cech dla odpowiednich atrybutów grupy, nie zostanie można ocenić sprawiedliwość przy użyciu parytetu demograficznego lub równości możliwość. Jeśli jednak atrybuty grupy są dostępne dla podzbioru pozwala znaleźć porównywalne pary równoważnych w różnych grupach, przedstawiciele mogą stosować jako wskaźnika do sondowania modelu pod kątem potencjalnych uprzedzeń w prognozach.

Poza tym takie dane jak parytet demograficzny i równość demograficzna mogą zbiorczo oceniać grupy, mogą maskować problemy uprzedzenia, które wpływają model na poziomie poszczególnych prognoz, które mogą się wyświetlać do oceny z użyciem kontrfaktycznej obiektywności. Na przykład załóżmy, że kryteria przyjmowania model akceptuje zakwalifikowanych kandydatów z grupy większościowej i mniejszości ale najodpowiedniejszy kandydat do mniejszości to odrzucono, natomiast najbardziej kwalifikowany kandydat, który ma takie samo dane logowania są akceptowane. Analiza obiektywności kontrfaktycznej może pomóc określić, tego rodzaju rozbieżności, aby można je było wyeliminować.

Z drugiej strony główną wadą kontrfaktycznej obiektywności jest to, że zapewniają całościowy obraz uprzedzeń w prognozach modelu. Identyfikacja wyrównanie kilku nierówności parami przykładów może nie wystarczyć w celu rozwiązywania systemowych problemów związanych z uprzedzeniami, które wpływają na całe podgrupy przykładów.

W sytuacjach, gdy jest to możliwe, pracownicy mogą zastanowić się nad analiza obiektywności (za pomocą takich danych jak parytet demograficzny lub równość możliwości), jak również kontrfaktycznej analizy obiektywności w celu uzyskania jak najszerszego zakres statystyk dotyczących potencjalnych problemów związanych z uprzedzeniami, które wymagają działań naprawczych.

Ćwiczenie: sprawdź swoją wiedzę

Ilustracja ćwiczenia. Dwie grupy kręgów: wykluczające Przewidywania i prognozy pozytywne. Prognozy negatywne składają się z 50 okręgów: 39 szarych okręgów, 8 niebieskich i 3 pomarańczowe okręgi. Jeden niebieskie okrąg jest oznaczone etykietą „A”, jedno pomarańczowe – „A”, a jedno niebieskie jest oznaczone etykietą „C”. Prognozy pozytywne składają się z 15 okręgów: 10 szarych okręgów, 3 niebieskie okręgi i 2 pomarańczowe okręgi. Jedno niebieskie jest oznaczone etykietą „B”, a jedno pomarańczowe okrąg jest oznaczony etykietą „B”, a jedno niebieskie jest oznaczone etykietą „C”. Legenda pod diagramem informuje, że niebieskie okręgi oznaczają niebieskie okręgi. przykład w grupie większości, pomarańczowe okręgi oznaczają, przykładu grupy mniejszości, szare okręgi oznaczają przykłady, których członkostwo w grupie jest nieznane
Rysunek 7. prognozy negatywne i pozytywne dla grupy przykładów; z 3 parami przykładów oznaczonymi jako A, B i C.

W zestawie prognoz na rys. 7 powyżej, który z poniższych następujące pary identyczne (bez członkostwa w grupie) przykłady otrzymane podpowiedzi, które naruszają kontrfaktyczną uczciwość?

Para A
Połącz prognozy A spełniają warunki kontrfaktycznej obiektywności, ponieważ przykład w grupie większości (niebieski) oraz przykład w grupa mniejszościowa (pomarańczowa) otrzymała tę samą prognozę (negatywną).
Para B
Prognozy pary B spełniają warunki kontrfaktycznej obiektywności, ponieważ przykład w grupie większości (niebieski) oraz przykład w grupa mniejszościowa (pomarańczowa) otrzymała tę samą prognozę (dodatnią).
Para C
Prognozy pary C dotyczą 2 przykładów, które należą do większość (kolor niebieski). To, że model wygenerował różne i prognozy dla tych identycznych przykładów sugerują, że może w modelu występują ogólniejsze problemy z wydajnością, w tej sprawie. Ten wynik nie narusza jednak kontrfaktu sprawiedliwości, których warunki mają zastosowanie wyłącznie wtedy, gdy oba te warunki identyczne przykłady są pobierane z różnych grup.
Żadna z tych par nie narusza kontrfaktycznej uczciwości
Prognozy par A i B spełniają kontrfaktyczne podejście do bezstronności. ponieważ w obu przypadkach przykład w grupie większości i przykład w grupie mniejszości otrzymuje tę samą prognozę. Sparuj słuchawki C przykłady należą do tej samej grupy (grupy większości), więc kontrfaktyczna uczciwość nie ma tu zastosowania.

Podsumowanie

Spójność demograficzna, równość szans, i kontrfaktycznej obiektywności zapewniają różne definicje matematyczne obiektywności prognoz modeli. To tylko trzy z nich, aby zmierzyć obiektywność. Niektóre definicje obiektywności są nawet wszędzie niezgodne, co oznacza, że spełnienie ich jednocześnie może być niemożliwe dla prognoz danego modelu.

Jak więc wybrać „odpowiednie” wskaźnik obiektywności Twojego modelu? Czynności, które musisz wykonać weź pod uwagę kontekst, w którym jest używana, i nadrzędne cele. do osiągnięcia. Czy na przykład czy celem jest uzyskanie równości reprezentacji (w tym przypadku optymalnym rozwiązaniem może być parytet demograficzny). osiągnąć równe szanse (w tym przypadku równość szans może być najlepszą wskaźnik)?

Aby dowiedzieć się więcej o obiektywności ML i dokładniej je przeanalizować, zobacz Fairness and Machine Learning: Limitations and Opportunity – Solon Barocas, Moritz Hardt i Arvind Narayanan.

Wstecz
Równość możliwości (10 min)
Dalej
Programowanie ćwiczeń (40 min)