Regresión lineal: Ejercicio de descenso de gradientes

En este ejercicio, repasarás el gráfico de datos de eficiencia de combustible del ejercicio de parámetros. Pero esta vez, usarás el descenso de gradientes para aprender los valores óptimos de peso y sesgo para un modelo lineal que minimice la pérdida.

Completa las tres tareas que aparecen debajo del gráfico.

Esta visualización interactiva puede producir imágenes intermitentes cuando se establece una tasa de aprendizaje alta, lo que puede afectar a las personas fotosensibles.

Tarea 1: Ajusta el control deslizante Learning Rate debajo del gráfico para establecer una tasa de aprendizaje de 0.03. Haz clic en el botón Iniciar para ejecutar el descenso por gradiente.

¿Cuánto tiempo tarda el entrenamiento del modelo en converger (alcanzar un valor mínimo estable de pérdida)? ¿Cuál es el valor de MSE en la convergencia del modelo? ¿Qué valores de peso y sesgo producen este valor?

Haz clic en el ícono de signo más para ver nuestra solución.

Cuando configuramos una tasa de aprendizaje de 0.03, el modelo convergió después de aproximadamente 30 segundos y logró un MSE de poco menos de 3 con valores de peso y sesgo de -2.08 y 23.098, respectivamente. Esto indica que elegimos un buen valor de la tasa de aprendizaje.

Nota: Los datos del gráfico varían ligeramente cada vez que cargas la página, por lo que tus soluciones aquí pueden ser un poco diferentes de las nuestras.

Tarea 2: Haz clic en el botón Restablecer debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante Learning Rate a un valor de alrededor de 1.10e^–5. Haz clic en el botón Iniciar para ejecutar el descenso por gradiente.

¿Qué observas sobre el tiempo que tarda el entrenamiento del modelo en converger esta vez?

Haz clic en el ícono de signo más para ver la solución.

Después de varios minutos, el entrenamiento del modelo aún no converge. Las actualizaciones pequeñas de los valores de peso y sesgo siguen generando valores de pérdida ligeramente más bajos. Esto sugiere que elegir una tasa de aprendizaje más alta permitiría que el descenso por gradiente encontrara los valores óptimos de peso y sesgo más rápido.

Tarea 3: Haz clic en el botón Restablecer debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante Tasa de aprendizaje hasta 1. Haz clic en el botón Iniciar para ejecutar el descenso por gradiente.

¿Qué sucede con los valores de pérdida a medida que se ejecuta el descenso del gradiente? ¿Cuánto tiempo tardará el entrenamiento del modelo en converger esta vez?

Haz clic en el ícono de signo más para ver la solución.

Los valores de pérdida fluctúan de forma muy pronunciada en valores altos (MSE superior a 300). Esto indica que la tasa de aprendizaje es demasiado alta y que el entrenamiento del modelo nunca alcanzará la convergencia.