GANs haben eine Reihe häufiger Fehlermodi. Alle diese häufigen Probleme sind Gegenstand aktueller Forschung. Keines dieser Probleme wurde vollständig gelöst, aber wir erwähnen einige Dinge, die andere versucht haben.
Verlaufende Farbverläufe
Forschungen haben gezeigt, dass das Training des Generators aufgrund von verschwindenden Gradienten fehlschlagen kann, wenn der Diskriminator zu gut ist. Ein optimaler Discriminator liefert dem Generator nicht genügend Informationen, um Fortschritte zu erzielen.
Versuche zur Behebung
- Wasserstein-Verlust: Der Wasserstein-Verlust soll verhindern, dass die Gradienten verschwinden, auch wenn Sie den Discriminator optimal trainieren.
- Modifizierter Minimax-Verlust: Im ursprünglichen GAN-Artikel wurde eine Änderung des Minimax-Verlusts vorgeschlagen, um mit verschwindenden Gradienten umzugehen.
Modus minimieren
Normalerweise möchten Sie, dass Ihr GAN eine Vielzahl von Ergebnissen liefert. Sie möchten beispielsweise für jede zufällige Eingabe in Ihren Gesichtsgenerator ein anderes Gesicht.
Wenn ein Generator jedoch eine besonders plausible Ausgabe erzeugt, kann er lernen, nur diese Ausgabe zu erzeugen. Tatsächlich versucht der Generator immer, die Ausgabe zu finden, die dem Diskriminator am plausibelsten erscheint.
Wenn der Generator immer wieder dieselbe Ausgabe (oder eine kleine Gruppe von Ausgaben) produziert, ist es für den Discriminator am besten, zu lernen, diese Ausgabe immer abzulehnen. Wenn die nächste Discriminator-Generation jedoch in einem lokalen Minimum stecken bleibt und nicht die beste Strategie findet, ist es für die nächste Generatoriteration zu einfach, die plausibelste Ausgabe für den aktuellen Discriminator zu finden.
Bei jeder Iteration des Generators wird zu stark für einen bestimmten Diskriminator optimiert und der Diskriminator schafft es nie, sich aus der Falle zu befreien. Daher wechseln die Generatoren zwischen einer kleinen Anzahl von Ausgabetypen. Diese Form des GAN-Fehlers wird als Mode Collapse bezeichnet.
Versuche zur Abhilfe
Bei den folgenden Ansätzen wird versucht, den Generator dazu zu zwingen, seinen Umfang zu erweitern, indem er daran gehindert wird, sich auf einen einzigen festen Diskriminator zu konzentrieren:
- Wasserstein-Verlust: Der Wasserstein-Verlust verringert den Moduszusammenbruch, da Sie den Discriminator optimal trainieren können, ohne sich Gedanken über verschwindende Gradienten machen zu müssen. Wenn der Discriminator nicht in lokalen Minima stecken bleibt, lernt er, die Ausgaben abzulehnen, bei denen sich der Generator stabilisiert. Daher muss der Generator etwas Neues ausprobieren.
- Entfaltete GANs: Entfaltete GANs verwenden eine Generator-Verlustfunktion, die nicht nur die Klassifizierungen des aktuellen Discriminators, sondern auch die Ausgaben zukünftiger Discriminator-Versionen berücksichtigt. So kann der Generator nicht zu stark für einen einzelnen Diskriminator optimiert werden.
Konvergenzfehler
GANs konvergieren häufig nicht, wie im Modul zum Training erläutert.
Versuche zur Abhilfe
Forscher haben versucht, verschiedene Formen der Regularisierung zu verwenden, um die GAN-Konvergenz zu verbessern, darunter:
- Rauschen zu Discriminator-Eingängen hinzufügen: Weitere Informationen finden Sie beispielsweise unter Toward Principled Methods for Training Generative Adversarial Networks.
- Diskriminatorgewichte bestrafen: Weitere Informationen finden Sie beispielsweise unter Stabilisierung des Trainings generativer kontradiktorischer Netzwerke durch Regularisierung.