Classification: testez vos connaissances (précision, précision, rappel)

Justesse

Explorez les options ci-dessous.

Dans quels scénarios une valeur de justesse élevée suggérerait-elle que le modèle de ML fonctionne correctement ?
Une maladie meurtrière, mais curable, touche 0,01% de la population. Un modèle de ML utilise les symptômes comme caractéristiques et prédit cette affection avec une justesse de 99,99%.
La justesse n'est pas une métrique correcte. Après tout, même un modèle "présent" qui prédit toujours "pas malade" resterait précis à 99,99 %. Prédire à tort qu'il n'est pas malade pour une personne réellement malade, cela pourrait être mortel.
Un poulet robotique pénètre dans une rue très fréquentée mille fois par jour. Un modèle de ML évalue les tendances du trafic et prédit quand cette poule peut traverser la rue en toute sécurité, avec une justesse de 99,99%.
Une valeur de précision de 99,99% sur une route très fréquentée indique fortement que le modèle de ML est bien meilleur que le hasard. Dans certains cas, cependant, le coût d'une moindre erreur est toujours trop élevé. Une justesse de 99,99% signifie que le poulet cher doit être remplacé en moyenne tous les 10 jours. (Elle peut également causer de nombreux dommages aux voitures.)
Dans le jeu de roulette, une balle est lâchée sur un volant qui finit sur l'une des 38 machines à sous. À l'aide de caractéristiques visuelles (le tour de la balle, la position de la roue lorsque la balle est tombée, la hauteur de la balle sur la roue), un modèle de ML peut prédire l'emplacement auquel la balle atterrit avec une justesse de 4%.
Ce modèle de ML permet d'obtenir des prédictions bien meilleures qu'un hasard.Une approximation aléatoire serait correcte dans 1/38 des cas, ce qui donne une justesse de 2,6%. Bien que la justesse du modèle ne soit que de 4%, les avantages de la réussite l'emportent largement sur les inconvénients de cette dernière.

Précision

Explorez les options ci-dessous.

Prenons un modèle de classification qui sépare les e-mails en deux catégories : "spam" et "non-spam". Si vous augmentez la valeur du seuil de classification, quel sera l'impact sur la précision ?
Sans aucun doute.
L'augmentation du seuil de classification augmente généralement la précision. Cependant, il n'est pas garanti que la précision augmente de façon monotone à mesure que nous augmentons le seuil.
Probablement à la hausse.
En général, l'augmentation du seuil de classification réduit les faux positifs, ce qui augmente la précision.
Probablement en baisse.
En général, l'augmentation du seuil de classification réduit les faux positifs, ce qui augmente la précision.
Très certainement.
En général, l'augmentation du seuil de classification réduit les faux positifs, ce qui augmente la précision.

Rappel

Explorez les options ci-dessous.

Prenons un modèle de classification qui sépare les e-mails en deux catégories : "spam" et "non-spam". Que se passera-t-il si vous augmentez le seuil de classification ?
Toujours augmenter.
L'augmentation du seuil de classification aura les deux conséquences suivantes :
  • Le nombre de vrais positifs diminue ou reste le même.
  • Le nombre de faux négatifs augmente ou reste identique.
Le rappel n'augmentera donc jamais.
Vous devez toujours diminuer ou rester le même.
En augmentant notre seuil de classification, le nombre de vrais positifs diminue ou ne change pas, et le nombre de faux négatifs augmente ou reste le même. Ainsi, le rappel restera constant ou diminuera.
Restez toujours constant.
En augmentant notre seuil de classification, le nombre de vrais positifs diminue ou ne change pas, et le nombre de faux négatifs augmente ou reste le même. Ainsi, le rappel restera constant ou diminuera.

Précision et rappel

Explorez les options ci-dessous.

Prenons l'exemple de deux modèles, A et B, qui évaluent chacun le même ensemble de données. Parmi les affirmations suivantes, laquelle est vraie ?
Si le modèle A est plus précis que le modèle B, le modèle A est le meilleur.
Bien qu'une meilleure précision soit une bonne qualité, cela peut entraîner une baisse importante du rappel. En règle générale, nous devons étudier à la fois la précision et le rappel, ou les métriques récapitulatives comme l'AUC dont nous allons parler ensuite.
Si le modèle A présente un meilleur rappel que le modèle B, le modèle A est le meilleur.
Même si un meilleur rappel est bon, il se peut qu'elle se produise au détriment d'une grande précision. En général, nous devons examiner à la fois la précision et le rappel, ou les métriques récapitulatives comme l'AUC, dont nous parlerons ensuite.
Si le modèle A offre une meilleure précision et un meilleur rappel que le modèle B, le modèle A est probablement le meilleur.
En général, un modèle qui offre de meilleures performances qu'un autre en termes de précision et de rappel est probablement le meilleur. Bien entendu, nous devons nous assurer que la comparaison est effectuée avec un point de précision / rappel utile en pratique pour que cela soit pertinent. Par exemple, supposons que notre modèle de détection de spam doive offrir une précision d'au moins 90% pour être utile et éviter les fausses alertes inutiles. Dans ce cas, comparer un modèle avec une {précision de 20% et un rappel de 99 %} à un autre avec une précision de {15% et un rappel de 98 %} n'est pas particulièrement instructif, car aucun des deux modèles ne répond à l'exigence de précision de 90 %. Cependant, en gardant cela à l'esprit, c'est un bon moyen de comparer les modèles lorsque vous utilisez la précision et le rappel.