Welches der folgenden Modelle ist von der Auswahlverzerrung betroffen?
Eine Smartphone-App zur deutschen Handschrifterkennung verwendet ein Modell, das häufig ß-Zeichen (Eszett) als B-Zeichen klassifiziert, da es mit einem Korpus amerikanischer Handschriftproben trainiert wurde, die größtenteils auf Englisch geschrieben sind.
Dieses Modell war von einer Art der Auswahlverzerrung namens Abdeckungsverzerrung betroffen: Die Trainingsdaten (amerikanische englische Handschrift) waren nicht repräsentativ für den Datentyp der Zielgruppe des Modells (deutsche Handschrift).
Ingenieure haben ein Modell erstellt, um die Wahrscheinlichkeit vorherzusagen, dass eine Person Diabetes entwickelt, basierend auf ihrer täglichen Nahrungsaufnahme. Das Modell wurde mit 10.000 Ernährungstagebüchern trainiert, die aus einer zufälligen Gruppe von Menschen auf der ganzen Welt mit unterschiedlichen Altersgruppen, ethnischen Hintergründen und Geschlechtern stammen. Bei der Bereitstellung des Modells hatte es jedoch eine sehr schlechte Genauigkeit. Die Ingenieure stellten später fest, dass die Teilnehmer von Nahrungsmitteltagebüchern das wahre Volumen ungesunder Nahrungsmittel, die sie zu sich genommen haben, zurückhalten wollten und eher den Verzehr von nahrhaften Lebensmitteln dokumentieren als weniger gesunde Snacks.
Bei diesem Modell gibt es keine Auswahlverzerrung. Teilnehmer, die Trainingsdaten bereitgestellt haben, waren eine repräsentative Stichprobe von Nutzern, die nach dem Zufallsprinzip ausgewählt wurden.
Stattdessen war dieses Modell von der Berichtsverzerrung betroffen. Die Aufnahme von ungesunden Lebensmitteln wurde viel seltener gemeldet als die wahre Praxis.
Die Entwickler in einem Unternehmen entwickelten ein Modell zur Vorhersage der Fluktuationsrate von Mitarbeitern (der Prozentsatz der Beschäftigten, die ihre Arbeit jährlich beenden), basierend auf den Daten, die in einer Umfrage erfasst wurden, die an alle Mitarbeiter gesendet wurde. Nach mehreren Jahren der Nutzung stellten die Entwickler fest, dass das Modell den Umsatz um mehr als 20 % unterschätzt hat. Bei Interviews mit Beschäftigten, die das Unternehmen verlassen hatten, stellte sich heraus, dass mehr als 80% der Befragten, die mit ihrer Arbeit unzufrieden waren, die Umfrage nicht abschlossen. Im Vergleich dazu lag die Teilnahmerate unternehmensweit bei 15%.
Dieses Modell war von einer Art von Auswahlverzerrung namens Non-Response-Bias betroffen. Personen, die mit ihrem Job unzufrieden waren, waren im Trainingsdatensatz unterrepräsentiert, da sie die unternehmensweite Umfrage weitaus häufiger beendet haben als die gesamte Belegschaft.
Ingenieure entwickelten ein System für Filmempfehlungen und Hypothesen, dass Personen, die Horrorfilme mögen, auch Science-Fiction-Filme mögen. Als das Modell jedoch mit 50.000 Nutzern trainiert wurde, zeigte sich jedoch kein derartiger Zusammenhang zwischen Präferenzen von Horror und Science-Fiction, sondern ein starker Zusammenhang zwischen Präferenzen von Horror und Dokumentationen. Das schien ihnen seltsam, sodass sie das Modell fünfmal mit verschiedenen Hyperparametern neu trainiert haben. Das endgültige trainierte Modell zeigte eine Korrelation zwischen 70% der Präferenzen für Horror und Sci-Fi und wurde daher in die Produktion übernommen.
Es gibt keine Hinweise auf eine Auswahlverzerrung. Dieses Modell ist aber möglicherweise von Testverzerrung betroffen, da die Entwickler ihr Modell iteriert haben, bis die vorhandene Hypothese bestätigt wurde.
Voreingenommenheit bewerten
Ein Sarkastikerkennungsmodell wurde mit 80.000 SMS trainiert: 40.000 Nachrichten von Erwachsenen (18 Jahre und älter) und 40.000 Nachrichten, die von Minderjährigen (unter 18 Jahren) gesendet wurden. Das Modell wurde dann mit einem Testsatz von 20.000 Nachrichten bewertet: 10.000 Erwachsene und 10.000 Erwachsene. Die folgenden Verwirrungsmatrizen zeigen die Ergebnisse für jede Gruppe an (eine positive Vorhersage bedeutet eine Klassifizierung von "sarkastisch" und eine negative Vorhersage eine Klassifizierung von "nicht sarkastisch"):
Erwachsene
Richtig positive Ergebnisse (TPs): 512
False Positives (FPs): 51
Falsch negative Ergebnisse (FNs): 36
Wahre negative Ergebnisse (TNs): 9401
$$\text{Precision} = \frac{TP}{TP+FP} = 0.909$$
$$\text{Recall} = \frac{TP}{TP+FN} = 0.934$$
Minderjährige
Richtig positive Ergebnisse (TPs): 2147
Falsch positive Ergebnisse: 96
Falsch negative Ergebnisse (FNs): 2177
Richtig negative Ergebnisse (TNs): 5.580
$$\text{Precision} = \frac{TP}{TP+FP} = 0.957$$
$$\text{Recall} = \frac{TP}{TP+FN} = 0.497$$
Sehen Sie sich die folgenden Optionen an.
Welche der folgenden Aussagen zur Leistung des Test-Dataset ist wahr?
Insgesamt ist das Modell bei Beispielen von Erwachsenen besser als bei Minderjährigen.
Das Modell erreicht sowohl eine Genauigkeit als auch eine Trefferquote von über 90 %, wenn Sarkasmus in SMS von Erwachsenen erkannt wird.
Obwohl das Modell für Minderjährige eine etwas höhere Genauigkeitsrate erreicht als Erwachsene, ist die Trefferquote für Minderjährige wesentlich niedriger, was zu weniger zuverlässigen Vorhersagen für diese Gruppe führt.
Das Modell kann etwa 50% der sarkastischen Nachrichten, die Minderjährige enthalten, nicht als solche klassifizieren.
Die Trefferquote von 0,497 für Minderjährige zeigt an, dass das Modell für etwa 50% der sarkastischen Texte von Minderjährigen eine Vorhersage enthält.
Etwa 50% der Nachrichten, die von Minderjährigen gesendet werden, werden falsch als „sarkastisch“ eingestuft.
Die Genauigkeitsrate von 0,957 gibt an, dass über 95% der als „sarcastisch“ eingestuften Nachrichten tatsächlich sarkastisch sind.
Die 10.000 Nachrichten, die von Erwachsenen gesendet werden, sind ein class-imimed-Dataset.
Wenn wir die Anzahl der Nachrichten von Erwachsenen, die tatsächlich sarkastisch (TP+FN = 548) sind, mit der Anzahl der Nachrichten vergleichen, die nicht sarkastisch (TN + FP = 9452) sind, sehen wir, dass "nicht sarkastisch" und "sarcastisch" 1 von ca. 1 Labels enthalten.
Die 10.000 Nachrichten, die von Minderjährigen gesendet werden, sind ein class-imimed-Dataset.
Wenn wir die Anzahl der Nachrichten von Minderjährigen, die in Wirklichkeit sarkastisch sind (TP+FN = 4324), mit der Anzahl der Nachrichten vergleichen, die nicht sarkastisch sind (TN + FP = 5676), sehen wir, dass ein Verhältnis von 1,3:1 von Labels mit sarkastischen Werten zu &Labels besteht. Da die Verteilung der Labels auf die beiden Klassen ziemlich nahe bei 50/50 liegt, ist dies kein Dataset mit Klassenausgleich.
Sehen Sie sich die folgenden Optionen an.
Entwickler arbeiten daran, dieses Modell neu zu trainieren, um Inkonsistenzen bei der Genauigkeit der Sarkasmuserkennung in verschiedenen demografischen Merkmalen zu beheben. Das Modell wurde jedoch bereits in der Produktion veröffentlicht. Mit welcher der folgenden Strategien können Fehler in den Vorhersagen des Modells minimiert werden?
Beschränken Sie die Nutzung des Modells auf SMS, die von Erwachsenen gesendet werden.
Das Modell funktioniert gut bei SMS von Erwachsenen (mit einer Genauigkeit von 90%) und einer höheren Trefferquote. Wenn Sie die Verwendung auf diese Gruppe beschränken, werden die systematischen Fehler beim Klassifizieren von SMS daher nicht berücksichtigt.
Wenn durch das Modell für SMS, die von Minderjährigen gesendet werden, der Text „&sart“ gesagt wird, passen Sie die Ausgabe so an, dass das Modell stattdessen den Wert „nicht sicher“ zurückgibt.
Die Genauigkeitsrate für von Minderjährigen gesendete SMS ist hoch. Das bedeutet, dass das Modell, das für diese Gruppe vorhergesagt wird, fast immer korrekt ist.
Das Problem ist, dass die Trefferquote für Minderjährige sehr niedrig ist. Das Modell erkennt Sarkasmus in etwa 50% der Beispiele nicht. Da die negativen Vervollständigungen des Modells für Minderjährige nicht besser sind als reine Vermutungen, können wir diese Fehler vermeiden, indem wir in diesen Fällen keine Vorhersage bereitstellen.
Die Nutzung des Modells auf SMS beschränken, die von Minderjährigen gesendet werden.
Die systematischen Fehler in diesem Modell beziehen sich nur auf Textnachrichten, die von Minderjährigen gesendet werden. Es wäre nicht hilfreich, die Nutzung des Modells auf eine fehleranfälligere Gruppe zu beschränken.
Passen Sie die Modellausgabe so an, dass sie für alle von Minderjährigen gesendeten SMS zurückgegeben wird, unabhängig davon, was das Modell ursprünglich vorhergesagt hat.
Nachrichten, die für Minderjährige immer als sarkastisch eingestuft werden, würden die Trefferquote von 0,497 auf 1,0 erhöhen, da das Modell keine Nachrichten mehr identifizieren kann. Dieser Anstieg der Trefferquote würde jedoch zulasten der Genauigkeit gehen. Alle wirklich negativen Werte würden zu falsch positiven Ergebnissen geändert:
Wahr positive (TPs): 4324
False Positives (FPs): 5676
Falsch negative Ergebnisse (FNs): 0
Richtig negative Ergebnisse (TNs): 0
Dadurch würde die Genauigkeitsrate von 0,957 auf 0,432 verringert. Wenn Sie diese Kalibrierung hinzufügen, würde sich die Art des Fehlers ändern, die Größe des Fehlers würde jedoch nicht verringert.
