Muchos problemas requieren una estimación de probabilidad como resultado. La regresión logística es un mecanismo extremadamente eficiente para calcular las probabilidades. Prácticamente puede usar la probabilidad devuelta en cualquiera de los dos maneras:
Se aplica "tal cual". Por ejemplo, si un modelo de predicción de spam toma un correo electrónico como y genera un valor de
0.932, esto implica una probabilidad93.2%de que el correo electrónico es spam.Se convirtió en una categoría binaria. como
TrueoFalse,SpamoNot Spam.
Este módulo se enfoca en el uso de la salida del modelo de regresión logística tal como está. En la Módulo de clasificación, aprenderás a convertir este resultado en una categoría binaria.
Función sigmoidea
Quizá te preguntes cómo un modelo de regresión logística puede garantizar representa una probabilidad, siempre da como resultado un valor entre 0 y 1. Como hay una familia de funciones llamadas funciones logísticas cuya salida tenga las mismas características. La función logística estándar, también conocido como función sigmoidea (sigmoidea significa “en forma de s”), tiene el Fórmula:
\[f(x) = \frac{1}{1 + e^{-x}}\]
En la Figura 1, se muestra el gráfico correspondiente de la función sigmoidea.
A medida que aumenta la entrada, x, el resultado de la función sigmoidea se acerca a
pero nunca llega a 1. De manera similar, a medida que disminuye la entrada, la capa
se aproxima la salida de la función, pero nunca alcanza 0.
Haz clic aquí para obtener más información sobre las matemáticas detrás de la función sigmoidea
La tabla a continuación muestra los valores de salida de la función sigmoidea para valores de entrada en el rango de –7 a 7. Observa qué tan rápido se aproxima la sigmoidea 0 para disminuir los valores de entrada negativos y qué tan rápido se aproxima la sigmoidea 1 para aumentar los valores de entrada positivos.
Sin embargo, no importa qué tan grande o pequeño sea el valor de entrada, la salida siempre ser mayor que 0 y menor que 1.
| Entrada | Salida sigmoidea |
|---|---|
| -7 | 0.001 |
| -6 | 0.002 |
| -5 | 0.007 |
| -4 | 0.018 |
| -3 | 0.047 |
| -2 | 0.119 |
| -1 | 0,269 |
| 0 | 0.50 |
| 1 | 0,731 |
| 2 | 0,881 |
| 3 | 0,952 |
| 4 | 0,982 |
| 5 | 0,993 |
| 6 | 0,997 |
| 7 | USD 0.999 |
Transformación de resultados lineales con la función sigmoidea
La siguiente ecuación representa el componente lineal de una logística de regresión:
\[z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\]
Donde:
- z es el resultado de la ecuación lineal, también llamada lograr probabilidades.
- b es el sesgo.
- Los valores w son los pesos aprendidos del modelo.
- Los valores x son los valores de atributo para un ejemplo en particular.
Para obtener la predicción de regresión logística, el valor z se pasa a la función sigmoidea, lo que da como resultado un valor (una probabilidad) entre 0 y 1:
\[y' = \frac{1}{1 + e^{-z}}\]
Donde:
- y' es el resultado del modelo de regresión logística.
- z es el resultado lineal (como se calcula en la ecuación anterior).
Haz clic aquí para obtener más información logaritmo de probabilidad
En la ecuación $z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N$, z se conoce como logaritmo de probabilidad porque si comienzas siguiente función sigmoidea (donde $y$ es la salida de una de regresión, que representa una probabilidad):
$$y = \frac{1}{1 + e^{-z}}$$
Luego, resolver z:
$$ z = \log\left(\frac{y}{1-y}\right) $$
Entonces, z se define como el logaritmo de la proporción de las probabilidades. de los dos resultados posibles: y e 1 – y.
En la Figura 2, se ilustra cómo se transforma el resultado lineal en regresión logística salida usando estos cálculos.
En la Figura 2, una ecuación lineal se convierte en una entrada para la función sigmoidea, que curva la línea recta en forma de S. Observa que la ecuación lineal puede generar valores de z muy grandes o muy pequeños, pero la salida de la “y” siempre está entre 0 y 1, exclusivo. Por ejemplo, el color naranja rectángulo en el gráfico de la izquierda tiene un valor z de -10, pero la función sigmoidea en la gráfico de la derecha mapea que -10 en una Y' de 0.00004.
Ejercicio: Comprueba tus conocimientos
Un modelo de regresión logística con tres atributos tiene el siguiente sesgo: pesos:
\[\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} \]
Dados los siguientes valores de entrada:
\[\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} \]
Responde estas dos preguntas.
Como se calculó en el paso 1, el logaritmo de probabilidad para los valores de entrada es 1. Cuando insertas ese valor para z en la función sigmoidea, sucede lo siguiente:
\(y = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-1}} = \frac{1}{1 + 0.367} = \frac{1}{1.367} = 0.731\)