Jedną z metod oceny obiektywności prognoz modelu jest Porównać wskaźnik uroczystości w grupie większości i mniejszości. Jeśli 2 współczynniki przyjęć są takie same, prognozy modelu odzwierciedlają spójność demograficzna: prawdopodobieństwo przyjęcia na uczelnię jest niezmienne do grupy demograficznej.
Załóżmy, że model rekrutacji przyjmuje 16 kandydatów z większości i 4 kandydatów z grupy mniejszości. Decyzje modelu zgodne z danymi demograficznymi, czyli wskaźnik akceptacji większości kandydaci mniejszościowych to 20%.
![Pula kandydatów podzielona na 2 grupy: Odrzuceni kandydaci (64 niebieskie
16 pomarańczowych uczniów) i kandydatów, którzy zostali zaakceptowani (16 niebieskich
i 4 pomarańczowych uczniów).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=0000&hl=pl)
W tej tabeli podano ilościowe wartości dotyczące odrzuconych i zaakceptowanych kandydatów na rys. 2.
Grupa większości | Grupa mniejszościowa | |
---|---|---|
Zaakceptowano | 16 | 4 |
Odrzucono | 64 | 16 |
Współczynnik akceptacji | 20% | 20% |
Ćwiczenie: sprawdź intuicję
Uniwersytecka komisja rekrutacyjna rozważa zastosowanie parytetu demograficznego jako wskaźnik oceny obiektywności modelu i potrzebuje Twoich wskazówek o zaletach i wadach tego podejścia. Czy potrafisz jakąś zidentyfikować zalety i jeden con dotyczący oceny prognoz modelu z wykorzystaniem danych demograficznych parzystość?
Przeczytaj następną sekcję: Korzyści wady i wady. parytet demograficzny.
Zalety i wady
Główną zaletą zachowania spójności demograficznej w naszym przykładzie jest to, zagwarantuje, że w dopuszczonych materiałach reprezentowanych są zarówno grupy większości, jak i mniejszości w tej samej klasie co uczniowie w puli kandydatów. Oznacza to, że jeśli pula kandydatów składa się z 80% kandydatów w grupie większościowej, a 20% kandydatów z grup mniejszościowych, parytet demograficzny gwarantuje, że dana grupa będzie też 80% uczniów z grup większościowych i 20% mniejszościowych uczniów.
Spójność demograficzna ma jednak jedną poważną wadę: rozkład prognoz w poszczególnych grupach demograficznych (liczba uczniów sklasyfikowanych jako „kwalifikowani” i „niezakwalifikowany”) pod uwagę, gdy na temat przydzielania 20 miejsc na przyjęcie do programu.
Jeszcze raz przyjrzyjmy się z góry składowi puli kandydatów. Tym razem jednak klasyfikujemy kandydatów nie tylko według grupy demograficznej, ale także tego, czy model przyznał każdemu kandydatowi ocenę „kwalifikowany”. lub "niezakwalifikowany":
![Taki sam podział jak w przypadku kategorii Odrzucone i Zaakceptowani kandydaci
Jak na poprzednim obrazie, ale tym razem 50 uczniów
kwalifikowani (35 niebieskich i 15 pomarańczowych uczniów) są w cieniu na zielono,
oraz podgrupy zakwalifikowanych uczestników, którzy zostali odrzuceni (19 niebiescy,
11 pomarańczowych uczniów) jest oznaczonych symbolem X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=0000&hl=pl)
W tej tabeli podano ilościowe wartości dotyczące odrzuconych i zaakceptowanych kandydatów na rys. 3.
Grupa większości | Grupa mniejszościowa | |||
---|---|---|---|---|
Zaakceptowano | Odrzucono | Zaakceptowano | Odrzucono | |
Zakwalifikowany | 16 | 19 | 4 | 11 |
Niezakwalifikowany | 0 | 45 | 0 | 5 |
Przeanalizujmy współczynniki przyjęć zakwalifikowanych studentów w obu grupach:
Mimo że obie grupy mają ogólny współczynnik akceptacji 20%, parytet demograficzny. W przypadku większości zakwalifikowanych studentów wynosi on 46%, a w przypadku mniejszości zakwalifikowanych studentów wynosi on zaledwie 27%.
W takich przypadkach rozkład preferowanej etykiety (np. „kwalifikacja”) różni się znacznie w przypadku obu grup, parytet demograficzny może nie są optymalne dla oceny obiektywności. W ciągu następnych przyjrzymy się alternatywnym wskaźnikom obiektywności, równości szans który uwzględnia te różnice.