Reducción de la pérdida: Ejercicio de Playground

Tasa de aprendizaje y convergencia

Este es el primero de varios ejercicios de Playground. Playground, un programa desarrollado específicamente para este curso para enseñar los principios del aprendizaje automático. Cada ejercicio de Playground de este curso incluye una instancia de Playground incorporada con ajustes predeterminados.

Cada ejercicio de Playground genera un conjunto de datos. La etiqueta de este conjunto de datos tiene dos valores posibles. Puedes pensar en esos dos valores posibles como spam frente a no spam o tal vez árboles sanos frente a árboles enfermos. El objetivo de la mayoría de los ejercicios es ajustar varios hiperparámetros para compilar un modelo que clasifique correctamente (separe o distinga) el valor de una etiqueta del otro. Ten en cuenta que la mayoría de los conjuntos de datos contienen una cierta cantidad de ruido, lo que hace imposible clasificar correctamente todos los ejemplos.

La interfaz de este ejercicio proporciona tres botones:

Ícono Nombre Qué hace
Botón Restablecer. Restablecer Restablece las iteraciones a 0. Restablece los pesos que el modelo ya había aprendido.
Botón de paso. Step Avanza una iteración. Con cada iteración, el modelo cambia, a veces de forma sutil y otras de forma drástica.
Botón Volver a generar. Volver a generar Genera un nuevo conjunto de datos. No restablece las iteraciones.

En este primer ejercicio de Playground, realizarás dos tareas para experimentar con la tasa de aprendizaje.

Tarea 1: Observa el menú de la tasa de aprendizaje que se encuentra en la parte superior derecha de Playground. La tasa de aprendizaje proporcionada (3) es muy alta. Para observar cómo esa tasa de aprendizaje alta afecta a tu modelo, haz clic en el botón “Paso” 10 o 20 veces. Después de cada iteración inicial, observa cómo la visualización del modelo cambia drásticamente. Incluso es posible que veas inestabilidad después de que el modelo parezca haber convergido. Además, observa las líneas que se extienden de x1 y x2 en la visualización del modelo. Los pesos de estas líneas indican los pesos de esos atributos en el modelo. Es decir, una línea gruesa indica un peso alto.

Tarea 2: Haz lo siguiente:

  1. Presiona el botón Restablecer.
  2. Reduce la tasa de aprendizaje.
  3. Presiona el botón Paso reiteradas veces.

¿De qué manera la reducción en la tasa de aprendizaje afectó la convergencia? Examina la cantidad de pasos necesarios para que el modelo converja y también la fluidez y la constancia de la convergencia del modelo. Experimenta con valores aún más bajos de la tasa de aprendizaje. ¿Consideras que una tasa de aprendizaje es demasiado lenta como para ser útil? (encontrarás un debate justo debajo del ejercicio).