Étant donné qu'un GAN contient deux réseaux entraînés séparément, son algorithme d'entraînement doit résoudre deux complications:
- Les GAN doivent jongler avec deux types d'entraînement différents (générateur et discriminateur).
- La convergence des GAN est difficile à identifier.
Entraînement alterné
Le générateur et le discriminateur ont des processus d'entraînement différents. Comment entraîner le GAN dans son ensemble ?
L'entraînement du GAN se déroule en périodes alternées:
- Le discriminateur s'entraîne pendant une ou plusieurs époques.
- Le générateur s'entraîne pendant une ou plusieurs époques.
- Répétez les étapes 1 et 2 pour continuer à entraîner les réseaux du générateur et du discriminateur.
Nous maintenons le générateur constant pendant la phase d'entraînement du discriminateur. Alors que l'entraînement du discriminateur tente de déterminer comment distinguer les données réelles des données factices, il doit apprendre à reconnaître les défauts du générateur. Il s'agit d'un problème différent pour un générateur bien entraîné que pour un générateur non entraîné qui produit une sortie aléatoire.
De même, nous maintenons le discriminateur constant pendant la phase d'entraînement du générateur. Sinon, le générateur tenterait de toucher une cible en mouvement et pourrait ne jamais converger.
C'est cet aller-retour qui permet aux GAN de résoudre des problèmes génératifs autrement insolubles. Nous obtenons un point d'appui dans le problème génératif difficile en commençant par un problème de classification beaucoup plus simple. À l'inverse, si vous ne parvenez pas à entraîner un classificateur pour faire la différence entre les données réelles et celles générées, même pour la sortie initiale du générateur de nombres aléatoires, vous ne pouvez pas démarrer l'entraînement du GAN.
Convergence
À mesure que le générateur s'améliore avec l'entraînement, les performances du discriminateur se dégradent, car il ne peut pas facilement faire la différence entre le réel et le faux. Si le générateur réussit parfaitement, le discriminateur a une précision de 50 %. En fait, le discriminateur lance une pièce pour effectuer sa prédiction.
Cette progression pose un problème de convergence du GAN dans son ensemble: les commentaires du discriminateur deviennent moins pertinents au fil du temps. Si le GAN continue de s'entraîner au-delà du point où le discriminateur fournit des commentaires complètement aléatoires, le générateur commence à s'entraîner sur des commentaires indésirables, et sa propre qualité peut s'effondrer.
Pour un GAN, la convergence est souvent un état éphémère plutôt que stable.