Regresión lineal: ejercicio de descenso de gradientes

En este ejercicio, repasarás el gráfico de datos del ahorro de combustible de en el ejercicio de parámetros. Pero esta vez, usar el descenso de gradientes para aprender los valores de peso y sesgo óptimos para una que minimiza la pérdida.

Completa las tres tareas que se encuentran debajo del gráfico.

Tarea 1: Ajusta el control deslizante Learning Rate que se encuentra debajo del gráfico para establecer una de 0.03. Haz clic en el botón Start para ejecutar el descenso de gradientes.

¿Cuánto tarda el entrenamiento de modelos en converger (alcanzar un mínimo estable valor de pérdida)? ¿Cuál es el valor del ECM en la convergencia del modelo? ¿Qué ponderación y sesgo generan este valor?

Haz clic en el ícono de signo más para ver nuestra solución

Cuando establecimos una tasa de aprendizaje de 0.03, el modelo convergió aproximadamente 30 segundos, logrando un ECM de poco menos de 3 con peso y valores de sesgo de –2.08 y 23.098, respectivamente. Esto indica que o elegiste un buen valor de tasa de aprendizaje.

Nota: Los datos en el gráfico varían ligeramente. cada vez que cargas la página, por lo que tus soluciones pueden ser un poco diferente del nuestro.

Tarea 2: Haz clic en el botón Reset debajo del gráfico para restablecer la ponderación y Valores de sesgo en el gráfico. Ajusta el control deslizante de Tasa de aprendizaje a un valor cercano De 1.10e^{a 5} Haz clic en el botón Start para ejecutar el descenso de gradientes.

¿Qué puedes notar sobre el tiempo que tarda el entrenamiento del modelo en converger? esta vez?

Haz clic en el ícono de signo más para ver la solución.

Después de varios minutos, el entrenamiento del modelo aún no convergió. Pequeño las actualizaciones en los valores de ponderación y sesgo siguen generando de pérdida de datos. Esto sugiere que elegir una tasa de aprendizaje más alta permitir el descenso de gradientes para encontrar más los valores de peso y sesgo óptimos con rapidez.

Tarea n.o 3: Haz clic en el botón Reset debajo del gráfico para restablecer la ponderación y valores de sesgo en el gráfico. Mueve el control deslizante de la tasa de aprendizaje hasta 1. Haz clic en el botón Start para ejecutar el descenso de gradientes.

¿Qué sucede con los valores de pérdida a medida que se ejecuta el descenso de gradientes? Por cuánto tiempo se modelará en la convergencia de este período?

Haz clic en el ícono de signo más para ver la solución.

Los valores de pérdida fluctúan ampliamente en valores altos (ECM superior a 300). Esto indica que la tasa de aprendizaje es muy alta y que el entrenamiento del modelo nunca alcanzará la convergencia.