Régression logistique: calculer une probabilité avec la fonction sigmoïde

De nombreux problèmes nécessitent une estimation de probabilité en sortie. La régression logistique est un mécanisme extrêmement efficace pour calculer des probabilités. En pratique, vous pouvez utiliser la probabilité renvoyée de deux manières :

• Appliqué "tel quel". Par exemple, si un modèle de prédiction de spam prend un e-mail en entrée et renvoie une valeur de 0.932, cela implique une probabilité de 93.2% que l'e-mail soit du spam.

• Convertie en catégorie binaire comme True ou False, Spam ou Not Spam.

Ce module se concentre sur l'utilisation de la sortie du modèle de régression logistique telle quelle. Dans le module de classification, vous apprendrez à convertir cette sortie en catégorie binaire.

Fonction sigmoïde

Vous vous demandez peut-être comment un modèle de régression logistique peut s'assurer que sa sortie représente une probabilité, en affichant toujours une valeur comprise entre 0 et 1. Il existe une famille de fonctions appelées fonctions logistiques dont la sortie présente les mêmes caractéristiques. La fonction logistique standard, également appelée fonction sigmoïde (sigmoïde signifie "en S"), possède formule:

\[f(x) = \frac{1}{1 + e^{-x}}\]

La figure 1 montre le graphique correspondant de la fonction sigmoïde.

Image 1. Graphique de la fonction sigmoïde. La courbe se rapproche de 0 à mesure que les valeurs de x diminuent vers l'infini négatif, et de 1 à mesure que les valeurs de x augmentent vers l'infini.

À mesure que l'entrée x augmente, la sortie de la fonction sigmoïde approche. mais n'atteint jamais 1. De même, à mesure que l'entrée diminue, la sortie de la fonction sigmoïde s'approche, mais n'atteint jamais 0.

Cliquez ici pour en savoir plus sur les mathématiques derrière la fonction sigmoïde.

Le tableau ci-dessous présente les valeurs de sortie de la fonction sigmoïde pour les valeurs d'entrée comprises entre –7 et 7. Notez la rapidité avec laquelle la fonction sigmoïde s'approche de 0 pour les valeurs d'entrée négatives décroissantes et la rapidité avec laquelle elle s'approche de 1 pour les valeurs d'entrée positives croissantes.

Cependant, quelle que soit la taille de la valeur d'entrée, la sortie toujours supérieur à 0 et inférieur à 1.

Entrée	Sortie sigmoïde
-7	0,001
-6	0.002
-5	0,007
-4	0,018
-3	0.047
-2	0,119
-1	0,269
0	0.50
1	0,731
2	0,881
3	0,952
4	0,982
5	0,993
6	0,997
7	0,999

Transformer la sortie linéaire à l'aide de la fonction sigmoïde

L'équation suivante représente la composante linéaire d'un modèle de régression logistique :

\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]

où :

• z est la sortie de l'équation linéaire, également appelée log odds.
• b correspond au biais.
• Les valeurs w sont les pondérations apprises par le modèle.
• Les valeurs x sont les valeurs des caractéristiques pour un exemple particulier.

Pour obtenir la prédiction de la régression logistique, la valeur z est ensuite transmise à la fonction sigmoïde, ce qui donne une valeur (une probabilité) comprise entre 0 et 1:

\[y' = \frac{1}{1 + e^{-z}}\]

où :

• y' est le résultat du modèle de régression logistique.
• z est la sortie linéaire (calculée dans l'équation précédente).

En savoir plus sur les log-odds

Dans l'équation $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z est appelée log-odds, car si vous commencez par la variable la fonction sigmoïde suivante (où $y$ est le résultat d'une transformation de régression, représentant une probabilité):

$$y = \frac{1}{1 + e^{-z}}$$

Résolvez ensuite z:

$$ z = \log\left(\frac{y}{1-y}\right) $$

Ensuite, z est défini comme le logarithme du ratio des probabilités des deux résultats possibles: y et 1 – y.

La figure 2 illustre comment la sortie linéaire est transformée en sortie de régression logistique à l'aide de ces calculs.

Figure 2 : À gauche : graphique de la fonction linéaire z = 2x + 5, avec trois points mis en évidence. À droite : courbe sigmoïde avec les trois mêmes points mis en surbrillance après avoir été transformés par la fonction sigmoïde.

Dans la figure 2, une équation linéaire devient l'entrée de la fonction sigmoïde. qui plie la ligne droite en une forme de S. Remarquez que l’équation linéaire peut produire des valeurs de z très élevées ou très faibles, mais la sortie de la fonction sigmoïde y', est toujours comprise entre 0 et 1, ces deux valeurs étant exclues. Par exemple, le carré jaune du graphique de gauche a une valeur z de –10, mais la fonction sigmoïde du graphique de droite mappe ce –10 sur une valeur y' de 0,00004.

Exercice : Vérifiez votre compréhension

Un modèle de régression logistique à trois caractéristiques présente le biais suivant poids:

\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]

Compte tenu des valeurs d'entrée suivantes:

\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]

Répondez aux deux questions suivantes.

1. Quelle est la valeur de z pour ces valeurs d'entrée ?

–1

0

0,731

1

Bonne réponse ! L'équation linéaire définie par les poids et le biais est la suivante : z = 1 + 2x₁ – x₂ + 5 x₃. En remplaçant les valeurs d'entrée dans l'équation, vous obtenez z = 1 + (2)(0) - (10) + (5)(2) = 1.

2. Quelle est la prédiction de la régression logistique pour ces valeurs d'entrée ?

0,268

0,5

0,731

Comme calculé dans l'étape 1 ci-dessus, les log-odds pour les valeurs d'entrée sont de 1. En remplaçant cette valeur pour z dans la fonction sigmoïde :

\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)

1

N'oubliez pas que la sortie de la fonction sigmoïde sera toujours supérieur à 0 et inférieur à 1.

Termes clés:

• Classification binaire
• Enregistrer des probabilités
• Régression logistique
• Fonction sigmoïde