Da ein GAN zwei separat trainierte Netzwerke enthält, muss sein Trainingsalgorithmus zwei Probleme angehen:
- GANs müssen zwei verschiedene Arten von Training (Generator und Discriminator) bewältigen.
- Die GAN-Konvergenz ist schwer zu erkennen.
Intervalltraining
Der Generator und der Discriminator haben unterschiedliche Trainingsabläufe. Wie trainieren wir also den GAN als Ganzes?
Das GAN-Training verläuft in abwechselnden Phasen:
- Der Discriminator wird für eine oder mehrere Epochen trainiert.
- Der Generator wird für eine oder mehrere Epochen trainiert.
- Wiederholen Sie die Schritte 1 und 2, um die Generator- und Discriminator-Netzwerke weiter zu trainieren.
Der Generator bleibt während der Trainingsphase des Discriminators konstant. Beim Training des Diskriminators wird versucht, herauszufinden, wie echte Daten von gefälschten unterschieden werden können. Dazu muss er lernen, die Mängel des Generators zu erkennen. Das ist ein anderes Problem für einen gründlich trainierten Generator als für einen nicht trainierten Generator, der eine zufällige Ausgabe generiert.
Ebenso halten wir den Discriminator während der Trainingsphase des Generators konstant. Andernfalls würde der Generator versuchen, ein sich bewegendes Ziel zu treffen und würde möglicherweise nie konvergieren.
Durch dieses Hin und Her können GANs ansonsten unlösbare generative Probleme angehen. Wir nähern uns dem schwierigen generativen Problem, indem wir mit einem viel einfacheren Klassifizierungsproblem beginnen. Wenn Sie hingegen nicht einmal für die erste Ausgabe des Zufallsgenerators einen Klassifikator trainieren können, der den Unterschied zwischen echten und generierten Daten erkennt, können Sie das GAN-Training nicht starten.
Konvergenz
Wenn sich der Generator durch das Training verbessert, verschlechtert sich die Leistung des Diskriminators, da er nicht mehr so leicht zwischen echt und unecht unterscheiden kann. Wenn der Generator perfekt funktioniert, hat der Discriminator eine Genauigkeit von 50 %. Der Diskriminator wirft also im Grunde eine Münze, um seine Vorhersage zu treffen.
Dieser Fortschritt stellt ein Problem für die Konvergenz des GANs als Ganzes dar: Das Feedback des Diskriminators wird mit der Zeit weniger aussagekräftig. Wenn das Training des GAN über den Punkt hinaus fortgesetzt wird, an dem der Discriminator völlig zufälliges Feedback gibt, beginnt der Generator, mit Junk-Feedback zu trainieren, und seine Qualität kann sinken.
Bei einem GAN ist die Konvergenz oft ein flüchtiger und nicht stabiler Zustand.