Muchos problemas requieren una estimación de probabilidad como resultado. La regresión logística es un mecanismo extremadamente eficiente para calcular las probabilidades. En términos prácticos, puedes usar la probabilidad que se muestra de cualquiera de las siguientes dos maneras:
- "Tal como está"
- Se convirtió en una categoría binaria.
Consideremos cómo podemos usar la probabilidad “tal como está”. Supongamos que creamos un modelo de regresión logística para predecir la probabilidad de que un perro ladre durante la noche. A esa probabilidad la llamaremos:
\[p(bark | night)\]
Si el modelo de regresión logística predice \(p(bark | night) = 0.05\), el propietario de un perro deberá despertarse durante aproximadamente un año aproximadamente 18 veces:
\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]
En muchos casos, asignarás el resultado de la regresión logística a la solución a un problema de clasificación binaria, en el que el objetivo es predecir correctamente una de dos etiquetas posibles (p.ej., "spam" o &no es spam? Un módulo posterior se enfoca en eso.
Es posible que te preguntes cómo un modelo de regresión logística puede garantizar un resultado que siempre se encuentre entre 0 y 1. A medida que sucede, una función sigmoidea, definida de la siguiente manera, produce resultados que tienen esas mismas características:
La función sigmoidea genera la siguiente representación:
Figura 1: Función sigmoidea.
Si \(z\) representa el resultado de la capa lineal de un modelo entrenado con regresión logística, \(sigmoid(z)\) producirá un valor (una probabilidad) entre 0 y 1. En términos matemáticos:
Donde:
- \(y'\) es el resultado del modelo de regresión logística para un ejemplo en particular.
- \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
- Los valores \(w\) son los pesos aprendidos del modelo y \(b\) es el sesgo.
- Los valores \(x\) son los valores de atributo para un ejemplo en particular.
Ten en cuenta que \(z\) también se conoce como probabilidades de registro porque lo inverso de los estados sigmoideos \(z\) se puede definir como el registro de la probabilidad de la etiqueta \(1\) (p.ej., &perro ladrando" dividido por la probabilidad de la etiqueta \(0\)(p.ej., "perro no ladra"):
Esta es la función sigmoidea con las etiquetas de AA:
Figura 2: Resultado de la regresión logística
Haz clic en el ícono de signo más para ver un ejemplo de cálculo de inferencia de regresión logística.
Supongamos que teníamos un modelo de regresión logística con tres atributos que aprendió los siguientes sesgos y pesos:
$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$Además, supongamos los siguientes valores de atributos para un ejemplo determinado:
$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$Por lo tanto, los logaritmos de probabilidad:
será:
$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$En consecuencia, la predicción de la regresión logística para este ejemplo en particular será 0.731:
Figura 3: Probabilidad del 73.1%.