Régression logistique

Au lieu de prédire exactement 0 ou 1, la régression logistique génère une probabilité : une valeur entre 0 et 1, exclusive. Prenons l'exemple d'un modèle de régression logistique pour la détection de spam. Si le modèle déduit une valeur de 0,932 sur un e-mail particulier, cela signifie une probabilité de 93,2% que le message soit un spam. Plus précisément, cela signifie que, dans la limite des exemples d'entraînement infinis, l'ensemble d'exemples pour lequel le modèle prédit 0,932 sera en réalité du spam 93,2% du temps, ce qui n'est pas le cas des 6,8% restants.

Régression logistique

  • Imaginez le problème qui consiste à prédire la probabilité de Têtes pour des pièces pliées
  • Vous pourriez vous servir de caractéristiques telles que l'angle de courbure de la pièce ou sa masse.
  • Quel est le modèle le plus simple que vous pourriez utiliser ?
  • Quels problèmes pourriez-vous rencontrer ?
2 pièces pliées
  • De nombreux problèmes nécessitent une estimation de probabilité en sortie
  • Saisissez Régression logistique
  • De nombreux problèmes nécessitent une estimation de probabilité en sortie
  • Saisissez Régression logistique
  • Pratique, car les estimations de probabilité sont calibrées
    • Par exemple, p(maison sera vendue) * prix = résultat attendu
  • De nombreux problèmes nécessitent une estimation de probabilité en sortie
  • Saisissez Régression logistique
  • Pratique, car les estimations de probabilité sont calibrées
    • Par exemple, p(maison sera vendue) * prix = résultat attendu
  • Également utile lorsque nous avons besoin d'une classification binaire
    • spam ? → p(spam)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

Graphique de l'équation de régression logistique

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

Deux graphiques représentant la perte logistique par rapport à la valeur prédite: un pour une valeur cible de 0,0 (avec un arc vers le haut et vers la droite) et un pour une valeur cible de 1,0 (avec un arc vers le bas et vers la gauche)
  • La régularisation est très importante pour la régression logistique.
    • N'oubliez pas les asymptotes
    • Il essaiera toujours de ramener la perte à 0 dans les dimensions élevées.
  • La régularisation est très importante pour la régression logistique.
    • N'oubliez pas les asymptotes
    • Il essaiera toujours de ramener la perte à 0 dans les dimensions élevées.
  • Deux stratégies sont particulièrement utiles:
    • Régularisation L2 (également appelée dégradation de la pondération L2) : pénalise les pondérations importantes.
    • Arrêt prématuré : limite les étapes d'entraînement ou le taux d'apprentissage.
  • La régression logistique linéaire est extrêmement efficace.
    • L'entraînement et les prédictions sont très rapides.
    • Les modèles courts et larges utilisent beaucoup de RAM.