ROC und AUC
Sehen Sie sich die folgenden Optionen an.
Welche der folgenden ROC-Kurven erzeugen AUC-Werte über 0,5?
Dies ist die bestmögliche ROC-Kurve, da sie alle positiven Ergebnisse vor allen negativen Ergebnissen priorisiert. Der AUC-Wert ist 1,0.
Wenn Sie einen perfekten Klassifikator mit einem AUC-Wert von 1, 0 haben, sollten Sie verdächtig sein, da das wahrscheinlich auf einen Fehler in Ihrem Modell hinweist. Dies kann beispielsweise der Fall sein, wenn Sie eine Überanpassung Ihrer Trainingsdaten haben oder die Labeldaten in einem Ihrer Features repliziert werden.
Das ist die schlimmste mögliche ROC-Kurve.Sie rangiert alle negativen Ergebnisse über allen positiven Ergebnissen und hat einen AUC von 0, 0. Wenn Sie jede Vervollständigung umkehren würden (von negativen zu positiven und von negativen zu positiven Ergebnissen), dann haben Sie tatsächlich einen perfekten Klassifikator.
Diese ROC-Kurve hat einen AUC-Wert von 0,5, was bedeutet, dass ein zufällig positives Beispiel in 50% der Fälle höher als ein zufälliges negatives Beispiel ist. Daher ist das entsprechende Klassifizierungsmodell im Grunde wertlos, da seine Vorhersagefunktion nicht besser ist als Zufallsraten.
Diese ROC-Kurve hat einen AUC zwischen 0,5 und 1,0, was bedeutet, dass ein zufällig positives Beispiel höher als ein zufälliges negatives Beispiel in mehr als 50% der Fälle eingestuft wird. Die AUC-Werte für die reale binäre Klassifizierung fallen in der Regel in diesen Bereich.
Diese ROC-Kurve hat einen AUC zwischen 0 und 0,5, was bedeutet, dass ein zufällig positives Beispiel höher als ein zufälliges negatives Beispiel in weniger als 50% der Fälle eingestuft wird.
Das entsprechende Modell schneidet schlechter ab als zufällig. Wenn Sie eine solche ROC-Kurve sehen, deutet das wahrscheinlich auf einen Fehler in Ihren Daten hin.
AUC und Skalierungsvorhersagen
Sehen Sie sich die folgenden Optionen an.
Wie würden die Multiplikation aller Vorhersagen eines bestimmten Modells mit 2,0 (also wenn das Modell 0,4 prognostiziert hat, mit 2,0 multipliziert, um eine Vorhersage von 0,8 zu erhalten) geändert werden? Wie wird die Leistung des Modells gemäß AUC gemessen?
Keine Änderung. Bei AUC sind nur relative Vorhersagen wichtig.
Ja, AUC basiert auf den relativen Vorhersagen, daher hat jede Transformation der Vorhersagen, die das relative Ranking beibehalten, keine Auswirkungen auf den AUC.
Dies gilt eindeutig nicht für andere Messwerte wie den quadratischen Fehler, den Logverlust oder die Vorhersageverzerrung (wird später erläutert).
Die AUC würde dadurch erheblich erschwert, da die Vorhersagewerte jetzt stark abweichen.
Interessanterweise würden die Multiplikation aller Werte mit 2, 0 die relative Reihenfolge der Vorhersagewerte beibehalten, auch wenn sie wahrscheinlich weiter von der Wahrheit abweichen. Da AUC nur die relativen Rankings berücksichtigt, hat sie keine Auswirkungen auf die einfache Skalierung der Vorhersagen.
Die AUC würde dadurch verbessert, da die Vorhersagewerte alle weiter voneinander entfernt sind.
Die Streuung der Vorhersagen wirkt sich nicht auf die AUC aus. Selbst ein Vorhersagewert für ein zufällig gezeichnetes echt positives Ergebnis ist nur ein winziger Epsilon größer als ein zufällig gezogenes negatives Ergebnis, das als Erfolg gewertet wird, was zum Gesamt-AUC-Wert beiträgt.