Debido a que una GAN contiene dos redes entrenadas por separado, su algoritmo de entrenamiento debe abordar dos complicaciones:
- Las GAN deben hacer malabares con dos tipos diferentes de entrenamiento (generador y discriminador).
- La convergencia de GAN es difícil de identificar.
Entrenamiento alterno
El generador y el discriminador tienen diferentes procesos de entrenamiento. Entonces, ¿cómo entrenamos la GAN en su totalidad?
El entrenamiento de GAN se realiza en períodos alternos:
- El discriminador se entrena durante una o más épocas.
- El generador se entrena durante una o más épocas.
- Repite los pasos 1 y 2 para seguir entrenando las redes del generador y discriminador.
Mantenemos el generador constante durante la fase de entrenamiento del discriminador. A medida que el entrenamiento del discriminador intenta descubrir cómo distinguir los datos reales de los falsos, debe aprender a reconocer las fallas del generador. Ese es un problema diferente para un generador completamente entrenado que para un generador no entrenado que produce resultados aleatorios.
De manera similar, mantenemos el discriminador constante durante la fase de entrenamiento del generador. De lo contrario, el generador intentaría alcanzar un objetivo en movimiento y es posible que nunca converja.
Es este ir y venir lo que permite que las GAN aborden problemas generativos que, de otro modo, serían inabordables. Para abordar el difícil problema generativo, debemos comenzar con un problema de clasificación mucho más simple. Por el contrario, si no puedes entrenar un clasificador para distinguir entre datos reales y generados, incluso para el resultado inicial del generador aleatorio, no puedes iniciar el entrenamiento de GAN.
Convergencia
A medida que el generador mejora con el entrenamiento, el rendimiento del discriminador empeora porque no puede distinguir fácilmente entre lo real y lo falso. Si el generador funciona perfectamente, el discriminador tiene una precisión del 50%. En efecto, el discriminador lanza una moneda para hacer su predicción.
Esta progresión plantea un problema para la convergencia de la GAN en su totalidad: los comentarios del discriminador se vuelven menos significativos con el tiempo. Si la GAN continúa entrenando más allá del punto en el que el discriminador proporciona comentarios completamente aleatorios, el generador comienza a entrenar con comentarios no deseados y su propia calidad puede colapsar.
En el caso de una GAN, la convergencia suele ser un estado fugaz, en lugar de estable.