Las GAN tienen varios modos de falla comunes. Todos estos problemas habituales son áreas de investigación activa. Si bien ninguno de estos problemas se resolvió por completo, mencionaremos algunas de las acciones que probaron las personas.
Gradientes que se desvanecen
La investigación sugiere que, si tu discriminador es demasiado bueno, el entrenamiento del generador puede fallar debido a los gradientes que desaparecen. En efecto, un discriminador óptimo no proporciona suficiente información para que el generador progrese.
Intentos de solución
- Pérdida de Wasserstein: La pérdida de Wasserstein está diseñada para evitar gradientes que desaparecen, incluso cuando entrenas el discriminador hasta alcanzar la optimalidad.
- Pérdida minimax modificada: En el artículo original sobre GAN, se propuso una modificación de la pérdida minimax para abordar los gradientes que se desvanecen.
Contracción de modo
Por lo general, quieres que tu GAN produzca una amplia variedad de resultados. Por ejemplo, quieres un rostro diferente para cada entrada aleatoria en tu generador de rostros.
Sin embargo, si un generador produce un resultado especialmente plausible, es posible que aprenda a producir solo ese resultado. De hecho, el generador siempre intenta encontrar el resultado que parece más plausible para el discriminante.
Si el generador comienza a producir el mismo resultado (o un pequeño conjunto de resultados) una y otra vez, la mejor estrategia del discriminador es aprender a rechazar siempre ese resultado. Sin embargo, si la siguiente generación de discriminador se bloquea en un mínimo local y no encuentra la mejor estrategia, es demasiado fácil para la siguiente iteración del generador encontrar el resultado más plausible para el discriminador actual.
Cada iteración del generador realiza una optimización excesiva para un discriminador en particular, y este nunca logra salir de la trampa. Como resultado, los generadores rotan a través de un pequeño conjunto de tipos de salida. Esta forma de falla de GAN se denomina colapso de modo.
Intentos de solución
Los siguientes enfoques intentan forzar al generador a ampliar su alcance impidiendo que se optimice para un solo discriminador fijo:
- Pérdida de Wasserstein: La pérdida de Wasserstein alivia el colapso de modo, ya que te permite entrenar el discriminador hasta alcanzar la optimización sin preocuparte por los gradientes que desaparecen. Si el discriminador no se bloquea en los mínimos locales, aprende a rechazar los resultados en los que se estabiliza el generador. Por lo tanto, el generador tiene que probar algo nuevo.
- GAN desenrolladas: Las GAN desenrolladas usan una función de pérdida del generador que incorpora no solo las clasificaciones actuales del discriminador, sino también los resultados de las versiones futuras del discriminador. Por lo tanto, el generador no puede realizar una optimización excesiva para un solo discriminador.
No se produce la convergencia
A menudo, las GAN no logran converger, como se explica en el módulo sobre entrenamiento.
Intentos de solución
Los investigadores intentaron usar varias formas de regularización para mejorar la convergencia de las GAN, como las siguientes:
- Agregar ruido a las entradas del discriminador: Consulta, por ejemplo, Toward Principled Methods for Training Generative Adversarial Networks.
- Penalizar los pesos del discriminante: Consulta, por ejemplo, Estabiliza el entrenamiento de redes generativas adversas a través de la regularización.