Słowniczek z zakresu systemów uczących się: uczciwość

Ta strona zawiera terminy z glosariusza dotyczącego uczciwości. Aby zobaczyć wszystkie terminy ze glosariusza, kliknij tutaj.

O

atrybut

#fairness

Synonim wyrażenia feature.

W przypadku obiektywności systemów uczących się atrybuty często odnoszą się do cech indywidualnych.

efekt automatyzacji

#fairness

Kiedy człowiek podejmuje decyzje w stosunku do informacji pozyskanych bez automatyzacji, nawet wtedy, gdy zautomatyzowany system podejmowania decyzji popełni błąd.

B

uprzedzenie (etyka/uczciwość)

#fairness
#fundamentals

1. Stereotyp, uprzedzenia i faworyzowanie w stosunku do pewnych rzeczy, osób lub grup. Uprzedzenia mogą wpływać na zbieranie i interpretację danych, na konstrukcję systemu i sposób jego interakcji z nim. Przykłady tego rodzaju uprzedzeń:

2. Błąd systematyczny spowodowany procedurą próbkowania lub raportowania. Przykłady tego rodzaju uprzedzeń:

Nie należy mylić z terminem tendencyjności w modelach systemów uczących się oraz odchyleniem prognozowania.

C

efekt potwierdzenia

#fairness

Tendencja do wyszukiwania, interpretowania, przywłaszczenia i przywoływania informacji w sposób potwierdzający dotychczasowe przekonania lub hipotezy. Deweloperzy korzystający z systemów uczących się mogą nieumyślnie zbierać lub oznaczać dane w sposób, który wpływa na wyniki potwierdzające ich przekonania. Tendencyjność potwierdzenia to forma uprzedzenia niejawnego.

Odchylenie eksperymentu to forma odchylenia, w ramach którego eksperymenter kontynuuje trenowanie modeli, dopóki nie potwierdzono już istniejącej hipotezy.

kontrfaktyczny poziom obiektywności

#fairness

Wskaźnik obiektywności, który sprawdza, czy klasyfikator daje taki sam wynik w przypadku jednej osoby jak w przypadku innej osoby, która jest taka sama jak pierwsza, poza co najmniej jednym atrybutem o charakterze kontrowersyjnym. Ocena klasyfikatora pod kątem obiektywności kontrfaktycznej jest jedną ze metod znajdowania potencjalnych źródeł stronniczości w modelu.

Bardziej szczegółowe omówienie kontrfaktycznej sprawiedliwości znajdziesz w części „Zderzenie światów: integrowanie różnych kontrfaktycznych założeń”.

efekt pokrycia

#fairness

Patrz: odchylenie wyboru.

D

spójność demograficzna

#fairness

Wskaźnik obiektywności, który jest spełniony, jeśli wyniki klasyfikacji modelu nie zależą od danego atrybutu poufnego.

Jeśli np. obywatele lilipuści i członkowie Brobdingnagii ubiegają się o Uniwersytet Glubbdubdrib, parzystość demograficzna jest osiągana, gdy odsetek przyjętych liliputów jest taki sam, niezależnie od tego, czy któraś z nich ma odpowiednie kwalifikacje.

W przeciwieństwie do równych szans i równości możliwości, które umożliwiają zbiorcze wyniki klasyfikacji zależą od atrybutów wrażliwych, ale nie pozwalają, aby wyniki klasyfikacji w przypadku określonych określonych etykiet ground truth zależą od atrybutów wrażliwych. W części „Atak dyskryminacji z wykorzystaniem lepszych systemów uczących się” znajdziesz wizualizację obrazującą korzyści płynące z optymalizacji pod kątem parytetu danych demograficznych.

różnorodny wpływ

#fairness

Podejmowanie decyzji dotyczących osób, które mają nieproporcjonalnie duży wpływ na różne podgrupy populacji. Zwykle dotyczy to sytuacji, w których algorytmiczny proces podejmowania decyzji szkodzi pewnej podgrupie lub przynosi korzyści bardziej niż innym.

Załóżmy na przykład, że algorytm określający, czy projekt Liliputian kwalifikuje się do otrzymania miniaturowego kredytu hipotecznego, ma większe szanse sklasyfikować go jako „nieodpowiedni”, jeśli adres pocztowy tej firmy zawiera określony kod pocztowy. Jeśli prawdopodobieństwo, że liliputi mają adresy pocztowe o takim kodzie pocztowym, jest większe niż w przypadku liliputów z Little-Endian, algorytm ten może przynieść różne efekty.

Przeciwieństwem są różnorodne traktowanie, które koncentruje się na rozbieżnościach wynikających z tego, że cechy podgrup mają bezpośredni wpływ na proces podejmowania decyzji oparty na algorytmach.

różnorodne traktowanie

#fairness

Uwzględnienie wrażliwych cech osób w procesie decyzyjnym opartym na algorytmie, tak aby poszczególne podgrupy osób były traktowane inaczej.

Spójrzmy na przykład na algorytm, który określa, czy Lilliputians kwalifikuje się do otrzymania miniaturowego kredytu hipotecznego na podstawie danych podanych we wniosku o kredyt. Jeśli algorytm wykorzystuje przynależność Liliputian jako danych wejściowych, czyli Big-Endian lub Little-Endian, stosuje różnorodne traktowanie w tym zakresie.

Przeciwieństwem jest różnorodny wpływ, który koncentruje się na rozbieżnościach w społecznym wpływie decyzji algorytmicznych na podgrupy – niezależnie od tego, czy te podgrupy są danymi wejściowymi dla modelu.

E

równość szans

#fairness

Wskaźnik obiektywności, który pozwala ocenić, czy model równie dobrze przewiduje pożądany wynik w przypadku wszystkich wartości atrybutu o charakterze kontrowersyjnym. Inaczej mówiąc, jeśli pożądanym wynikiem działania modelu jest klasa pozytywnych, celem byłoby, aby współczynnik prawdziwie pozytywnych był taki sam w przypadku wszystkich grup.

Równość szans jest związana z wyrównanymi szansami, co wymaga, aby zarówno współczynniki wyników prawdziwie pozytywnych, jak i fałszywie pozytywnych były takie same dla wszystkich grup.

Załóżmy, że uniwersytet w Glubbdubdrib przyjmuje zarówno liliputów, jak i mieszkańców Brobdingnagi na rygorystyczny program matematyczny. Szkoły średnie w Liliputacjach mają rozbudowany program zajęć z matematyki, a zdecydowana większość uczniów kwalifikuje się do udziału w programach uniwersyteckich. Szkoły średnie w Brobdingnagian w ogóle nie oferują zajęć z matematyki, przez co znacznie mniej ich uczniów spełnia wymagania. Równość szans jest brana pod uwagę w przypadku preferowanej etykiety „zaakceptowany” w odniesieniu do narodowości (liliputyjski lub brobdingnagiczny), jeśli prawdopodobieństwo przyjęcia jest takie samo niezależnie od tego, czy są liliputami czy mieszkańcami Brobdingnagii.

Załóżmy na przykład, że do Uniwersytetu w Glubbdubdrib ma dostęp 100 liliputów i 100 podopiecznych, a decyzje o przyjęciu są podejmowane w następujący sposób:

Tabela 1. Kandydaci z Liliputów (90% to kandydaci)

  Zakwalifikowany Niezakwalifikowany
Zaakceptowano 45 3
Odrzucony 45 7
Łącznie 90 10
Odsetek zakwalifikowanych studentów przyjętych: 45/90 = 50%
Odsetek niekwalifikujących się uczniów: 7/10 = 70%
Łączny odsetek przyjętych uczniów Liliputów: (45 + 3)/100 = 48%

 

Tabela 2. Kandydaci do Brobdingnagian (10% kwalifikujących się):

  Zakwalifikowany Niezakwalifikowany
Zaakceptowano 5 9
Odrzucony 5 81
Łącznie 10 90
Odsetek zakwalifikowanych studentów przyjętych: 5/10 = 50%
Odsetek niekwalifikujących się uczniów: 81/90 = 90%
Łączny odsetek przyjętych studentów w Browdingnagian: (5+9)/100 = 14%

Poprzednie przykłady zapewniają równy dostęp do szans na przyjęcie do grona kwalifikujących się studentów, ponieważ zarówno Liliputi, jak i osoby posiadające plakietkę Brobdingnagi mają 50% szans na przyjęcie do programu.

Równość szans jest spełniona, ale nie są spełnione te 2 wskaźniki:

  • spójność demograficzna: Liliputi i Brobdingnagi są przyjmowane na uniwersytet w różnym tempie; przyjmuje się 48% studentów liliputów, ale tylko 14% z Brobdingnagian jest dostępnych na tę uczelnię.
  • Równomierne szanse na przyjęcie do programu: chociaż spełniający wymagania studenci Liliputi i Brobdingnagian mają takie same szanse na przyjęcie do programu, nie jest spełnione dodatkowe ograniczenie, którym są takich samych liliputi, jak i osoby należące do kategorii Brobdingnagi. Liliputi, którzy nie spełniają wymagań, mają współczynnik odrzuceń na poziomie 70%, podczas gdy niekwalifikowani mieszkańcy Brobdingnagi mają współczynnik odrzuceń na poziomie 90%.

Bardziej szczegółowe omówienie równości szans znajdziesz w sekcji „Równa szansa w uczeniu nadzorowanym”. Zapoznaj się też z filmem „Atak dyskryminacji za pomocą inteligentnych systemów uczących się”, aby zobaczyć, w jaki sposób poznasz kompromisy związane z optymalizacją pod kątem równości szans.

wyrównane szanse

#fairness

Wskaźnik obiektywności umożliwiający ocenę, czy model prognozuje wyniki równie dobrze w przypadku wszystkich wartości atrybutu poufnego z uwzględnieniem zarówno klasy pozytywnej, jak i klasy ujemnej, a nie tylko jednej klasy czy drugiej. Inaczej mówiąc, współczynnik prawdziwie pozytywnych i współczynnik wyników fałszywie negatywnych powinny być takie same dla wszystkich grup.

Równość szans jest związana z równością możliwości, która skupia się tylko na odsetku błędów w danej klasie (dodatniej lub ujemnej).

Załóżmy na przykład, że Uniwersytet w Glubbdubdrib przyjmuje zarówno Liliputów, jak i Brobdingnagiczyków na rygorystyczny program matematyczny. Liliputów mają rozbudowany program zajęć z matematyki, a zdecydowana większość uczniów kwalifikuje się do studiów. W szkole średniej Brobdingnagians w ogóle nie ma zajęć z matematyki, przez co znacznie mniej ich uczniów spełnia wymagania. Szanse są równe, pod warunkiem że nie ma znaczenia, czy kandydat jest liliputem czy brobdingnagikiem, jeśli spełnia wymagania, szanse na przyjęcie do programu są równe. W przeciwnym razie prawdopodobieństwo jego odrzucenia jest równe.

Załóżmy, że o dołączenie do Uniwersytetu w Glubbdubdrib ubiega się 100 liliputów i 100 członków grupy Brobdingnagib, a decyzje o przyjęciu są podejmowane w następujący sposób:

Tabela 3. Kandydaci z Liliputów (90% to kandydaci)

  Zakwalifikowany Niezakwalifikowany
Zaakceptowano 45 2
Odrzucony 45 8
Łącznie 90 10
Odsetek zakwalifikowanych studentów przyjętych: 45/90 = 50%
Odsetek niekwalifikujących się uczniów: 8/10 = 80%
Łączny odsetek przyjętych uczniów Liliputów: (45+2)/100 = 47%

 

Tabela 4. Kandydaci do Brobdingnagian (10% kwalifikujących się):

  Zakwalifikowany Niezakwalifikowany
Zaakceptowano 5 18
Odrzucony 5 72
Łącznie 10 90
Odsetek zakwalifikowanych studentów przyjętych: 5/10 = 50%
Odsetek niekwalifikujących się uczniów: 72/90 = 80%
Łączny odsetek przyjętych studentów w Browdingnagian: (5+18)/100 = 23%

Szanse są równe, ponieważ spełniający wymagania uczniowie z liliputów i brobdingnagów mają po 50% szans na przyjęcie, a uczniowie, którzy nie spełniają kryteriów, mają 80% szans na odrzucenie.

Prawdopodobieństwo wyrównania szans jest formalnie zdefiniowane w sekcji „Równość możliwości w ramach uczenia się nadzorowanego” w ten sposób: „prognoz Ø spełnia równe szanse w odniesieniu do chronionego atrybutu A i wynik Y, jeśli górę i A są niezależne i warunkowo w przypadku Y”.

odchylenie eksperymentatora

#fairness

Patrz: odchylenie wyników.

F

ograniczenie obiektywności

#fairness
Stosowanie ograniczenia w algorytmie w celu spełnienia co najmniej 1 definicji obiektywności. Przykłady ograniczeń obiektywu:

wskaźnik obiektywności

#fairness

Matematyczna definicja „uczciwości”, którą można zmierzyć. Oto niektóre często używane wskaźniki obiektywności:

Wiele wskaźników obiektywności wzajemnie się wyklucza – zobacz niezgodność wskaźników obiektywności.

G

efekt atrybucji grupy

#fairness

Założenie, że prawdziwe informacje o danej osobie odnosi się również do wszystkich jej członków. Efekty odchylenia atrybucji grupy mogą być bardziej widoczne, jeśli do zbierania danych stosuje się próbkowanie dogodne. W próbce niereprezentatywnej informacje o atrybucji mogą nie odzwierciedlać rzeczywistości.

Patrz też na temat odchylenia homogenetycznego w grupie poza grupą i odchylenia w grupie.

H

uprzedzenie historyczne

#fairness

Rodzaj stronniczości, który już istniał na świecie i trafił do zbioru danych. Uprzedzenia te mają tendencję do odzwierciedlenia istniejących stereotypów kulturowych, nierówności demograficznych i uprzedzeń wobec określonych grup społecznych.

Przyjrzyjmy się np. modelowi klasyfikacji, który prognozuje, czy wnioskodawca skorzysta z kredytu o przesłanie domyślne. Został on wytrenowany na historycznych danych dotyczących spłaty kredytu z lat 80. ubiegłego wieku przez lokalne banki w 2 różnych społecznościach. Gdyby dawni kandydaci ze Społeczności A byli 6 razy bardziej skłonni do niewypełnienia wniosków o kredyty niż osoby ze Społeczności B, model mógł nauczyć się odchyleń w przeszłości, co sprawiło, że model ten był mniej prawdopodobny do zatwierdzania kredytów w Społeczności A, nawet jeśli uwarunkowania historyczne, które prowadziły do tego, że wyższe stawki domyślne w tej społeczności przestały być istotne.

I

nieświadome uprzedzenia

#fairness

Automatyczne tworzenie powiązania lub założenia na podstawie czyjegoś modelu umysłu i pamięci. Wpływ niejawny może mieć następujące skutki:

  • Sposób zbierania i klasyfikowania danych.
  • Jak są zaprojektowane i rozwijane systemy uczące się.

Na przykład podczas tworzenia klasyfikatora do identyfikowania zdjęć ślubnych inżynier może wykorzystać białą suknię na zdjęciu. Jednak białe suknie były zwyczajowo stosowane tylko w niektórych epokach i w niektórych kulturach.

Patrz też na temat odchylenia w celu potwierdzenia.

brak zgodności wskaźników obiektywności

#fairness

Twierdzenie, że pewne założenia obiektywności nie są ze sobą zgodne i nie można ich spełniać jednocześnie. W efekcie nie ma jednego uniwersalnego danych do pomiaru obiektywności, który można zastosować do wszystkich problemów z systemami uczącymi się.

Choć może się to wydawać zniechęcające, niezgodność wskaźników obiektywności nie oznacza, że wysiłki na rzecz obiektywności są bezcelowe. Sugeruje natomiast, że w przypadku danego problemu związanego z systemami uczącymi się należy zdefiniować obiektywność w celu zapobiegania szkodom w konkretnych przypadkach użycia.

Bardziej szczegółowe omówienie tego tematu znajdziesz w sekcji „O (niemożliwości) obiektywności”.

uczciwość indywidualna

#fairness

Wskaźnik obiektywności, który sprawdza, czy podobne osoby są klasyfikowane podobnie. Akademia Brobdingnagian może na przykład dążyć do zapewnienia uczciwości indywidualnej, dbając o to, by 2 uczniów z identycznymi ocenami i ustandaryzowanymi wynikami z testów kwalifikowało się jednakowo.

Pamiętaj, że indywidualna obiektywność zależy w całości od tego, jak zdefiniujesz „podobieństwo” (w tym przypadku oceny i wyniki testów). Jeśli wskaźnik podobieństwa nie uwzględnia ważnych informacji (na przykład zasad programu nauczania), istnieje ryzyko pojawienia się nowych problemów z obiektywizmem.

Bardziej szczegółowe informacje o uczciwości wobec danej osoby znajdziesz w sekcji „Sprawiedliwość dzięki świadomości marki”.

promowanie w grupie

#fairness

Wyrażanie przynależności do własnej grupy lub własnych cech. Jeśli testerami lub testerami są znajomi, rodzina lub współpracownicy dewelopera systemów uczących się, odchylenie w grupie może unieważnić testowanie produktów lub zbiór danych.

Promowanie w grupie to odchylenie atrybucji w grupie. Zapoznaj się też z sekcją dotyczącą odchylenia jednorodności poza grupą.

N

efekt braku odpowiedzi

#fairness

Patrz: odchylenie wyboru.

O

efekt jednorodności grup zewnętrznych

#fairness

Tendencje do porównywania postaw, wartości, cech osobowości i innych cech członków grupy są bardziej podobni niż członkowie grupy. W grupie to osoby, z którymi regularnie się kontaktujesz, a poza grupą to osoby, z którymi nie masz kontaktu regularnie. Jeśli tworzysz zbiór danych, prosząc ludzi o podanie atrybutów dotyczących osób z grup, mogą one być mniej szczegółowe i bardziej stereotypowe niż atrybuty wymieniane przez uczestników dla osób z ich grup.

Liliputi mogą na przykład szczegółowo opisać domy innych Liliputów, na podstawie niewielkich różnic pod względem stylów architektonicznych, okien, drzwi i rozmiarów. Ci sami lilipuści mogą jednak po prostu oświadczyć, że wszyscy mieszkają w identycznych domach.

Promowanie jednorodności poza grupami to forma odchylenia atrybucji.

Patrz też na temat odchylenia w grupie.

P

efekt udziału

#fairness

Synonim powodujący odchylenie braku odpowiedzi. Patrz: odchylenie wyboru.

obróbka

#fairness
#fundamentals

Dostosowywanie danych wyjściowych modelu po jego uruchomieniu. Przetwarzanie końcowe może pomóc w egzekwowaniu ograniczeń dotyczących obiektywności bez konieczności zmieniania samych modeli.

Można na przykład zastosować przetwarzanie końcowe do klasyfikatora binarnego, ustawiając próg klasyfikacji w taki sposób, aby w przypadku niektórych atrybutów była utrzymywana równość możliwości. W tym celu należy sprawdzić, czy współczynnik prawdziwie dodatni jest taki sam dla wszystkich wartości tego atrybutu.

parzystość prognozowana

#fairness

Wskaźnik obiektywności, który sprawdza, czy w przypadku danego klasyfikatora współczynniki dokładności są równoważne dla analizowanych podgrup.

Na przykład model, który przewiduje możliwość przyjęcia na studia, spełniłby prognozowaną parzystość narodowości, jeśli współczynnik precyzji w przypadku Liliputów i Brobdingnagiana był taki sam.

Parzystość prognozowana jest czasami nazywana spójnością stawki prognozowanej.

Bardziej szczegółowe informacje o spójności prognozowanej znajdziesz w sekcji „Wyjaśnienia dotyczące przejrzystości” (sekcja 3.2.1).

parytet stawki prognozowanej

#fairness

Inna nazwa sparowania prognozowanego.

wstępne przetwarzanie

#fairness
Przetwarzanie danych przed ich użyciem do trenowania modelu. Wstępne przetwarzanie może być bardzo proste, na przykład przez usunięcie z angielskiego korpusu tekstu, którego nie ma w słowniku angielskim, lub bardzo skomplikowane, jak ponowne wyrażenie punktów danych w sposób umożliwiający eliminację jak największej liczby atrybutów skorelowanych z atrybutami wrażliwymi. Wstępne przetwarzanie może ułatwić spełnienie ograniczeń dotyczących uczciwości.

proxy (poufne atrybuty)

#fairness
Atrybut używany jako zastępczego atrybutu o charakterze kontrowersyjnym. Na przykład kod pocztowy danej osoby może służyć jako wskaźnik dochodu, rasy lub przynależności etnicznej.

R

efekt raportowania

#fairness

Częstotliwość, z jaką ludzie piszą o działaniach, wynikach lub właściwościach, nie jest odzwierciedleniem częstotliwości ich w świecie rzeczywistym ani stopnia, w jakim dana właściwość jest charakterystyczna dla danej klasy. Odchylenia w raportowaniu mogą wpływać na kompozycję danych, z których systemy uczące się uczą się.

Na przykład w książkach słowo śmiech jest bardziej rozpowszechnione niż oddychane. Model systemu uczącego się, który szacuje względną częstotliwość śmiechu i oddychania z korpusu książkowego, prawdopodobnie określiłby, że śmiech jest powszechny od oddychania.

S

efekt próbkowania

#fairness

Patrz: odchylenie wyboru.

efekt wyboru

#fairness

Błędy we wnioskach wyciągniętych z próbek danych w wyniku procesu selekcji, który generuje systematyczne różnice między próbkami zaobserwowanymi w danych i tymi, które nie zostały zaobserwowane. Istnieją te formy odchyleń wyboru:

  • odchylenie zasięgu: populacja przedstawiona w zbiorze danych nie pasuje do populacji, na podstawie której model systemów uczących się tworzy prognozy.
  • odchylenie próbkowania: dane nie są zbierane losowo z grupy docelowej.
  • odchylenie od braku odpowiedzi (nazywane też odchyleniem w zakresie udziału): użytkownicy z określonych grup rezygnują z ankiet w innym stopniu niż użytkownicy z innych grup.

Załóżmy np., że tworzysz model systemów uczących się, który przewiduje, jak widzowie będą oglądać film. Aby zebrać dane szkoleniowe, rozdajesz ankietę wszystkim osobom stojącym w pierwszym rzędzie kina wyświetlającego film. Z drugiej strony może to wydawać się rozsądnym sposobem gromadzenia zbioru danych, ale ta forma zbierania danych może powodować takie odchylenia w działaniu:

  • skłonność do uwzględniania w zasięgu: jeśli próbkowanie pochodzi z populacji, która zdecydowała się obejrzeć film, prognozy modelu mogą nie uogólnić wyników na osoby, które nie wyraziły jeszcze takiego zainteresowania filmem.
  • odchylenie próby: zamiast losowego losowania próbek z zamierzonej populacji (wszystkich osób oglądających film), badaliśmy tylko osoby z pierwszego wiersza. Możliwe, że osoby siedzące w pierwszym rzędzie były bardziej zainteresowane filmem niż osoby z pozostałych rzędów.
  • uprzedzenie braku odpowiedzi: osoby, które mają silne poglądy, częściej odpowiadają na pytania opcjonalne. Ankieta na temat filmu jest opcjonalna, dlatego odpowiedzi z większym prawdopodobieństwem utworzą rozkład dwukierunkowy niż normalny rozkład (w kształcie dzwonka).

atrybut o charakterze wrażliwym

#fairness
Atrybut ludzki, który może być brany pod uwagę ze względów prawnych, etycznych, społecznych lub osobistych.

U

nieświadomość (w przypadku atrybutu o charakterze wrażliwym)

#fairness

Sytuacja, w której występują atrybuty poufne, ale nie są one uwzględnione w danych treningowych. Atrybuty wrażliwe często są skorelowane z innymi atrybutami danych, dlatego model wytrenowany z brakiem wiedzy na temat atrybutu poufnego nadal może mieć różnorodny wpływ w odniesieniu do tego atrybutu lub naruszać inne ograniczenia dotyczące obiektywności.