Regresión lineal: ejercicio de descenso de gradientes

En este ejercicio, repasarás el gráfico de datos de eficiencia de combustible del ejercicio de parámetros. Pero esta vez, usarás el descenso del gradiente para aprender los valores óptimos de peso y sesgo para un modelo lineal que minimice la pérdida.

Completa las tres tareas que aparecen debajo del gráfico.

Tarea 1: Ajusta el control deslizante Learning Rate debajo del gráfico para establecer una tasa de aprendizaje de 0.03. Haz clic en el botón Iniciar para ejecutar el descenso por gradiente.

¿Cuánto tiempo tarda el entrenamiento del modelo en converger (alcanzar un valor mínimo estable de pérdida)? ¿Cuál es el valor de MSE en la convergencia del modelo? ¿Qué valores de peso y sesgo producen este valor?

Cuando configuramos una tasa de aprendizaje de 0.03, el modelo convergió después de aproximadamente 30 segundos y logró un MSE de poco menos de 3 con valores de peso y sesgo de -2.08 y 23.098, respectivamente. Esto indica que elegimos un buen valor de la tasa de aprendizaje.

Tarea 2: Haz clic en el botón Restablecer debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante Learning Rate a un valor aproximado de 1.10e–5. Haz clic en el botón Iniciar para ejecutar el descenso por gradiente.

¿Qué puedes observar sobre el tiempo que le toma al entrenamiento del modelo convergir esta vez?

Después de varios minutos, el entrenamiento del modelo aún no converge. Las actualizaciones pequeñas de los valores de peso y sesgo siguen generando valores de pérdida ligeramente más bajos. Esto sugiere que elegir una tasa de aprendizaje más alta permitiría que el descenso por gradiente encontrara los valores óptimos de peso y sesgo más rápido.

Tarea 3: Haz clic en el botón Restablecer debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante Tasa de aprendizaje hasta 1. Haz clic en el botón Start para ejecutar el descenso de gradientes.

¿Qué sucede con los valores de pérdida a medida que se ejecuta el descenso del gradiente? ¿Cuánto tiempo tardará el entrenamiento del modelo en converger esta vez?

Los valores de pérdida fluctúan de forma muy pronunciada en valores altos (MSE superior a 300). Esto indica que la tasa de aprendizaje es demasiado alta y que el entrenamiento del modelo nunca alcanzará la convergencia.