Étant donné qu'un GAN contient deux réseaux entraînés séparément, son algorithme d'entraînement doit résoudre deux complications:
- Les GAN doivent jongler avec deux types d'entraînement différents (générateur et discriminateur).
- La convergence du GAN est difficile à identifier.
Entraînement alternatif
Le générateur et le discriminateur ont des processus d'entraînement différents. Alors, comment entraîner le GAN dans son ensemble ?
L'entraînement du GAN se fait en alternance:
- Le discriminateur s'entraîne pendant une ou plusieurs époques.
- Le générateur s'entraîne pour une ou plusieurs époques.
- Répétez les étapes 1 et 2 pour continuer à entraîner les réseaux du générateur et du discriminateur.
Nous gardons le générateur constant pendant la phase d'entraînement du discriminateur. Lorsque l'entraînement des discriminateurs essaie de distinguer les données réelles des faux, il doit apprendre à reconnaître les défauts du générateur. Il s'agit d'un problème différent pour un générateur entraîné de manière approfondie et pour un générateur non entraîné qui génère une sortie aléatoire.
De même, le discriminateur reste constant pendant la phase d'entraînement du générateur. Sinon, le générateur essaie d'atteindre une cible en mouvement et peut ne jamais converger.
C'est un aller-retour qui permet aux GAN de résoudre des problèmes génératifs par ailleurs difficiles à résoudre. Nous sommes confrontés à un problème génératif difficile en commençant par un problème de classification beaucoup plus simple. À l'inverse, si vous ne pouvez pas entraîner un classificateur pour faire la différence entre des données réelles et des données générées, même pour la sortie du générateur aléatoire initial, vous ne pouvez pas lancer l'entraînement du GAN.
Convergence
À mesure que le générateur s'améliore avec l'entraînement, les performances du discriminateur sont moins bonnes, car le discriminateur ne fait pas la différence entre le vrai et le faux. Si le générateur réussit parfaitement, le discriminateur a une précision de 50 %. En fait, le discriminateur sort une pièce de monnaie pour effectuer sa prédiction.
Cette progression pose problème pour la convergence du GAN dans son ensemble: les commentaires des discriminateurs deviennent moins significatifs au fil du temps. Si le GAN continue de s'entraîner au-delà du moment où le discriminateur envoie des commentaires complètement aléatoires, le générateur commence à s'entraîner sur les commentaires indésirables et sa qualité peut s'effondrer.
Pour un GAN, la convergence est souvent un état temporaire, plutôt que stable.