Supposons que vous ayez un modèle de régression logistique pour la détection des e-mails de spam prédit une valeur comprise entre 0 et 1, représentant la probabilité qu'une valeur l'e-mail est un spam. Une prédiction de 0,50 signifie qu'il y a 50% de probabilité que l'e-mail une prédiction de 0, 75 signifie 75% de probabilité que l'e-mail soit un spam, et ainsi de suite.
Vous souhaitez déployer ce modèle dans une application de messagerie pour filtrer le spam dans
dans un dossier de messagerie distinct. Pour ce faire, vous devez convertir l'ensemble de données
sortie numérique (par exemple, 0.75) dans l'une des deux catégories suivantes : "spam" ou « non
spam."
Pour effectuer cette conversion, vous choisissez un seuil de probabilité, appelé
seuil de classification.
Les exemples dont la probabilité est supérieure à la valeur seuil sont ensuite attribués
à la classe positive,
la classe que vous testez (ici spam). Exemples avec une
probabilité sont affectés à la classe négative,
la classe alternative (ici, not spam).
En savoir plus sur le seuil de classification
Vous vous demandez peut-être ce qui se passe si le score prédit est égal à le seuil de classification (par exemple, un score de 0,5, le seuil de classification est également de 0,5) ? Gestion de ce cas dépend de l'implémentation choisie pour la classification dans un modèle de ML. Par exemple, l'extension Keras prédit la classe négative si le score et le seuil sont égaux, mais d'autres outils/frameworks peuvent gérer ce cas de figure. différemment.
Par exemple, supposons que le modèle attribue un score de 0,99 à un e-mail, prédisant cet e-mail a 99% de chances d'être un spam, et un autre e-mail 0,51, ce qui signifie qu'il a 51% de chances d'être du spam. Si vous définissez le paramètre à 0,5, le modèle classe les deux e-mails du spam. Si vous définissez le seuil sur 0,95, seul le score de l'e-mail à 0,99 sera être classés comme spam.
Même si 0,5 peut sembler être un seuil intuitif, ce n'est pas une bonne idée si le d'un type de classification erronée est supérieur à celui de l'autre, ou sont déséquilibrées. Si seulement 0, 01% des e-mails sont du spam ou s'ils sont mal classés des e-mails légitimes est pire que de laisser le spam dans la boîte de réception, étiqueter tout élément considéré par le modèle comme du spam à au moins 50 % ; car le spam produit des résultats indésirables.
Matrice de confusion
Le score de probabilité n'est pas réel, ou vérité terrain. Il existe quatre résultats possibles pour chaque sortie d'un classificateur binaire. Pour l'exemple du classificateur de spam, si vous présentez la vérité terrain sous forme de colonnes et la prédiction du modèle sous forme de lignes, la table suivante, appelée matrice de confusion, est la résultat:
| Valeur positive réelle | Valeur négative réelle | |
|---|---|---|
| Valeur positive prédite | Vrai positif (VP): spam e-mail correctement identifié comme spam. Voici les spams automatiquement placé dans le dossier de spam. | Faux positif (FP): un e-mail qui n'est pas considéré comme un spam est classé à tort comme du spam. Ce sont les e-mails légitimes qui se retrouver dans le dossier de spam. |
| Valeur négative prédite | Faux négatif (FN): spam classé à tort comme n'étant pas du spam. Il s'agit de spam e-mails qui ne sont pas par le filtre antispam et arriver dans la boîte de réception. | Vrai négatif (VN): A des e-mails légitimes correctement classés comme non-spam. Ce sont les e-mails légitimes qui sont envoyés directement dans la boîte de réception. |
Notez que le total de chaque ligne donne tous les positifs prédits (VP + FP) et tous les négatifs prédits (FN + VN), quelle que soit leur validité. Le total de chaque indique tous les vrais positifs (VP + FN) et tous les négatifs réels (FP + VN), quelle que soit la classification du modèle.
Lorsque le total des résultats positifs réels n'est pas proche du total des résultats réels négatifs, l'ensemble de données déséquilibré. Une instance d'un ensemble de données déséquilibré peut être un ensemble de milliers de photos de nuages, les rares types de nuages qui vous intéressent, par exemple les volutus, n'apparaissent plusieurs fois.
Effet du seuil sur les vrais et faux positifs et négatifs
Des seuils différents génèrent généralement des nombres de vrais et faux faux positifs et des vrais et faux négatifs. La vidéo suivante explique pourquoi le cas.
Essayez de modifier le seuil vous-même.
Ce widget inclut trois jeux de données jouets:
- Séparé(e), où les exemples positifs et négatifs sont généralement bien différenciées, la plupart des exemples positifs ayant des scores plus élevés que et d'exemples négatifs.
- Non séparé, où de nombreux exemples positifs ont des scores inférieurs à d'exemples négatifs, et nombre d'entre eux ont des scores plus élevés que des exemples positifs.
- Déséquilibré, ne contenant que quelques exemples de la classe positive.