Régression logistique les modèles sont entraînés selon le même processus régression linéaire modèles de ML, avec deux distinctions importantes:
- Les modèles de régression logistique utilisent Perte logistique comme fonction de perte au lieu de la perte quadratique.
- Application de la régularisation est essentiel pour éviter surapprentissage.
Les sections suivantes abordent ces deux points plus en détail.
Perte logistique
Dans le module Régression linéaire, vous avez utilisé la perte quadratique (également appelée perte L2) que la fonction de perte. La perte quadratique fonctionne bien pour une où le taux de variation des valeurs de sortie est constant. Par exemple : étant donné que le modèle linéaire $y' = b + 3x_1$, chaque fois que vous incrémentez l'entrée valeur $x_1$ par 1, la valeur de sortie $y'$ augmente de 3.
Cependant, le taux d'évolution d'un modèle de régression logistique n'est pas constant. Comme vous l'avez vu dans la section Calculer une probabilité, la La courbe sigmoïde est en forme de S. plutôt que linéaire. Lorsque la valeur du logarithme de cote ($z$) est proche de 0, la valeur des hausses de $z$ entraînent des variations beaucoup plus importantes de $y$ que lorsque $z$ est un nombre positif ou négatif. Le tableau suivant montre la fonction sigmoïde pour les valeurs d'entrée comprises entre 5 et 10, ainsi que la précision correspondante nécessaires pour saisir les différences dans les résultats.
| entrée | de la production logistique | chiffres de précision requis |
|---|---|---|
| 5 | 0,993 | 3 |
| 6 | 0,997 | 3 |
| 7 | 0,999 | 3 |
| 8 | 0,9997 | 4 |
| 9 | 0,9999 | 4 |
| 10 | 0,99998 | 5 |
Si vous avez utilisé la perte quadratique pour calculer les erreurs de la fonction sigmoïde,
de plus en plus proches de 0 et 1, vous avez besoin de plus de mémoire pour
préserver la précision nécessaire au suivi de ces valeurs.
Pour la régression logistique, la fonction de perte Perte logistique : La L'équation de perte logistique renvoie le logarithme de l'amplitude de l'évolution, plutôt que que la distance entre les données et la prédiction. La perte logistique est calculée comme suit : ce qui suit:
\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)
où :
- \((x,y)\in D\) est l'ensemble de données contenant de nombreux exemples étiquetés, qui sont \((x,y)\) .
- \(y\) est l'étiquette dans un exemple étiqueté. Puisqu'il s'agit de régression logistique, chaque valeur de \(y\) doit être 0 ou 1.
- \(y'\) est la prédiction de votre modèle (comprise entre 0 et 1), compte tenu de l'ensemble de fonctionnalités en \(x\).
Régularisation en régression logistique
La régularisation, un mécanisme permettant pénaliser la complexité du modèle pendant l'entraînement est extrêmement important la modélisation de la régression. Sans régularisation, la nature asymptotique de la logistique la perte continue à tendre vers 0 dans les cas où le modèle présente un grand nombre de caractéristiques. Par conséquent, la plupart des modèles de régression logistique utilisent des deux stratégies suivantes pour réduire la complexité du modèle:
- Régularisation L2
- Arrêt prématuré: Limiter le nombre d'étapes d'entraînement pour interrompre l'entraînement alors que la perte est diminuent encore.