Angenommen, Sie haben ein logistisches Regressionsmodell für die Spam-E-Mail-Erkennung, einen Wert zwischen 0 und 1 vorhersagt, der die Wahrscheinlichkeit darstellt, E-Mail ist Spam. Eine Vorhersage von 0,50 bedeutet eine Wahrscheinlichkeit von 50 %, dass die E-Mail „Spam“ bedeutet eine Vorhersage von 0, 75 eine Wahrscheinlichkeit von 75 %, dass es sich bei der E-Mail um Spam handelt. und so weiter.
Sie möchten dieses Modell in einer E-Mail-Anwendung bereitstellen, um Spam in
separaten E-Mail-Ordner. Dazu müssen Sie die Rohdaten des Modells
numerische Ausgabe (z.B. 0.75) in eine von zwei Kategorien einteilen: „Spam“. oder „nicht
Spam.“
Für diese Conversion wählen Sie einen Schwellenwert für die Wahrscheinlichkeit aus,
Klassifizierungsschwellenwert.
Beispiele mit einer Wahrscheinlichkeit über dem Schwellenwert werden zugewiesen
positive Klasse,
die Klasse, für die Sie den Test durchführen (hier spam). Beispiele mit einem niedrigeren Wert
Wahrscheinlichkeiten der negativen Klasse,
der alternativen Klasse (hier not spam).
Weitere Informationen zum Klassifizierungsschwellenwert
Sie fragen sich vielleicht: Was geschieht, wenn der vorhergesagte Wert = den Klassifizierungsschwellenwert (z. B. ein Wert von 0,5, wobei liegt der Klassifizierungsschwellenwert ebenfalls bei 0,5)? Umgang mit diesem Fall hängt von der jeweiligen Implementierung ab, die für die Klassifizierung ausgewählt wurde. modellieren. Zum Beispiel wird Keras Die Bibliothek sagt die negative Klasse vorher, wenn die Punktzahl und der Schwellenwert gleich, aber andere Tools/Frameworks könnten diesen Fall lösen. unterschiedlich.
Angenommen, das Modell bewertet eine E-Mail mit 0, 99 und sagt dass es sich bei dieser E-Mail um eine Spam-Wahrscheinlichkeit von 99% handelt, 0,51, was bedeutet, dass die Wahrscheinlichkeit, Spam zu sein, bei 51% liegt. Wenn Sie die Klassifizierungsschwellenwert auf 0,5, klassifiziert, klassifiziert das Modell beide E-Mails als Spam. Wenn Sie den Grenzwert auf 0,95 festlegen, wird nur die E-Mail-Bewertung 0,99 als Spam eingestuft werden.
Obwohl 0,5 wie ein intuitiver Schwellenwert erscheint, ist es keine gute Idee, die Kosten eines Typs der falschen Klassifizierung höher sind als die des anderen Klassen unausgewogen sind. Wenn nur 0, 01% der E-Mails Spam sind oder falsch verstanden wurde dass seriöse E-Mails schlechter als Spam in den Posteingang gelangen, Label für alles, was das Modell mit einer Wahrscheinlichkeit von mindestens 50% als Spam einstuft, da Spam zu unerwünschten Ergebnissen führt.
Wahrheitsmatrix
Der Wahrscheinlichkeitswert entspricht nicht der Realität. Ground Truth: Für jede Ausgabe eines binären Klassifikators gibt es vier mögliche Ergebnisse. Wenn Sie für das Beispiel des Spamklassifikators die Grundwahrheit als Spalten festlegen, und die Vorhersage des Modells als Zeilen, wird die folgende Tabelle Wahrheitsmatrix, ist die Ergebnis:
| Tatsächlich positiv | Tatsächlich negativ | |
|---|---|---|
| Prognostiziert positiv | Richtig positiv (TP): Spam E-Mail-Adresse korrekt als Spam klassifiziert wurde. Dies sind die Spamnachrichten automatisch an den Spamordner gesendet. | Falsch positiv: Eine E‐Mail, die kein Spam ist und fälschlicherweise als Spam. Dies sind die legitimen E-Mails, werden in den Spamordner verschoben. |
| Vorhergesagtes negatives Ergebnis | Falsch negativ (FN): Eine Spam-E-Mail, die fälschlicherweise als „Kein Spam“ klassifiziert wurde. Dies sind Spam die nicht Spam-Filter erkannt und in den Posteingang gelangen. | Richtig negativ (TN): A Nicht-Spam-E-Mail, die korrekt als „Kein Spam“ klassifiziert wurde. Das sind die legitimen E‐Mails, direkt an Ihren Posteingang senden. |
Beachten Sie, dass die Summe in jeder Zeile alle vorhergesagten positiven Werte (TP + FP) und alle vorhergesagten negativen Ergebnisse (FN + TN), unabhängig von der Gültigkeit. Die Summe in jeder gibt dagegen alle reellen positiven Werte (TP + FN) und alle reellen negativen Werte (FP + TN), unabhängig von der Modellklassifizierung.
Wenn die Summe der tatsächlich positiven Ergebnisse nicht annähernd der Summe der tatsächlichen negativ sein, ist das Dataset Unausgeglichen. Eine Instanz Unausgeglichene Datasets können Tausende von Fotos von Wolken sein, den seltenen Cloudtyp, für den Sie sich interessieren, z. B. Volutus Clouds, mehrere Male.
Auswirkung des Schwellenwerts auf richtig- und falsch-positive und falsch-negative Ergebnisse
Unterschiedliche Grenzwerte führen in der Regel zu einer unterschiedlichen Anzahl von Richtig und Falsch Richtig-und Falsch-negative Ergebnisse. Im folgenden Video wird erklärt, für den Fall.
Versuchen Sie, den Grenzwert selbst zu ändern.
Dieses Widget enthält drei Spielzeug-Datasets:
- Getrennt, wobei positive und negative Beispiele im Allgemeinen vorkommen gut differenziert, wobei die meisten positiven Beispiele höhere Bewertungen haben als negative Beispiele.
- Ungetrennt, wobei viele positive Beispiele niedrigere Bewertungen haben als negative Beispiele haben, und viele negative Beispiele haben höhere Bewertungen als und positive Beispiele.
- UnAusgeglichen: Enthält nur einige Beispiele der positiven Klasse.