Debido a que una GAN contiene dos redes entrenadas por separado, su algoritmo de entrenamiento debe abordar dos complicaciones:
- Las GAN deben hacer malabares con dos tipos diferentes de entrenamiento (generador y discriminante).
- La convergencia de las GAN es difícil de identificar.
Entrenamiento alternativo
El generador y el discriminante tienen diferentes procesos de capacitación. ¿Cómo entrenamos a la GAN como un todo?
El entrenamiento de la GAN continúa en períodos alternativos:
- El discriminante entrena una o más épocas.
- El generador entrena para uno o más ciclos de entrenamiento.
- Repite los pasos 1 y 2 para seguir entrenando las redes del generador y del discriminador.
Mantenemos el generador constante durante la fase de capacitación del discriminador. A medida que el entrenamiento del discriminante intenta descubrir cómo distinguir los datos reales de los falsos, debe aprender a reconocer los defectos del generador. Este es un problema diferente para un generador completamente entrenado que para un generador no entrenado que produce resultados aleatorios.
De manera similar, mantenemos el discriminador constante durante la fase de entrenamiento del generador. De lo contrario, el generador intentará alcanzar un objetivo móvil y es posible que nunca converja.
Son las idas y vueltas que permiten que los GAN aborden problemas generativos intratables. Para afrontar el problema generativo difícil, comenzamos con un problema de clasificación mucho más simple. Por el contrario, si no puedes entrenar un clasificador para diferenciar los datos reales de los que se generaron, incluso para la salida inicial del generador aleatorio, no se puede iniciar el entrenamiento de GAN.
Convergencia
A medida que el generador mejora con el entrenamiento, el rendimiento del discriminante empeora, ya que el discriminante no puede distinguir con facilidad la diferencia entre el real y el falso. Si el generador tiene éxito, el discriminador tiene una exactitud del 50%. De hecho, el discriminante lanza una moneda para hacer su predicción.
Esta progresión plantea un problema para la convergencia de la GAN en su totalidad: los comentarios del discriminante se vuelven menos significativos con el tiempo. Si la GAN continúa entrenando después del punto en el que el discriminante brinda comentarios completamente aleatorios, el generador comienza a entrenar para recibir comentarios no deseados y su propia calidad puede contraerse.
Para una GAN, la convergencia suele ser un estado fugaz, en lugar de estable.