Fairness: Testen Sie Ihr Wissen

  1. Richtig oder falsch: Eine historische Verzerrung tritt auf, wenn ein Modell mit alten Daten trainiert wird.

  2. Entwickler trainieren ein Regressionsmodell, um den Kaloriengehalt von Mahlzeiten basierend auf einer Vielzahl von Featuredaten vorherzusagen, die sie von Rezepten auf der ganzen Welt entnommen haben, darunter Portionsgröße, Zutaten und Zubereitungstechniken. Welche der folgenden Datenprobleme sind potenzielle Quellen für Verzerrungen, die weiter untersucht werden sollten?

    Wählen Sie so viele Antworten, wie Sie für richtig halten.

  3. Ein Modell zur Sarkasmuserkennung wurde mit 80.000 SMS trainiert: 40.000 Nachrichten von Erwachsenen (18 Jahre und älter) und 40.000 Nachrichten von Minderjährigen (unter 18 Jahren). Das Modell wurde dann anhand eines Test-Datasets von 20.000 Nachrichten bewertet: 10.000 von Erwachsenen und 10.000 von Minderjährigen. Die folgenden Wahrheitsmatrizen zeigen die Ergebnisse für jede Gruppe (eine positive Vorhersage bedeutet eine Klassifizierung als „sarkastisch“; eine negative Vorhersage bedeutet eine Klassifizierung als „nicht sarkastisch“):

    Erwachsene

    Richtig-Positive (TPs): 512 Falsch positive Ergebnisse: 51
    Falsch negative Ergebnisse: 36 Richtig negative Ergebnisse (TNs): 9.401
    Precision = TP/(TP + FP) = 0,909
    Trefferquote = TP/(TP + FN) = 0,934

    Minderjährige

    Richtig-Positives (TPs): 2147 Falsch positive Ergebnisse: 96
    Falsch negative Ergebnisse: 2.177 Richtig negative Ergebnisse (TNs): 5.580
    Precision = TP/(TP + FP) = 0,957
    Trefferquote = TP/(TP + FN) = 0,497

    Welche der folgenden Aussagen zur Testsatzleistung des Modells treffen zu?

    Wählen Sie so viele Antworten, wie Sie für richtig halten.

  4. Welche der folgenden Hypothesen könnte die Diskrepanz bei der Untergruppenleistung im Test-Dataset für das obige Modell zur Sarkasmuserkennung erklären?

    Wählen Sie so viele Antworten, wie Sie für richtig halten.

  5. Die Entwickler trainieren das oben genannte Sarkasmusmodell neu, um die Genauigkeit der Sarkasmuserkennung über alle demografischen Merkmale hinweg zu beseitigen, aber das Modell wurde bereits in die Produktion aufgenommen. Welche der folgenden provisorischen Strategien trägt dazu bei, Fehler in den Vorhersagen des Modells zu minimieren?