Poiché una GAN contiene due reti addestrate separatamente, il suo algoritmo di addestramento deve risolvere due complicazioni:
- Le GAN devono gestire due diversi tipi di addestramento (generatore e discriminatore).
- La convergenza delle GAN è difficile da identificare.
Allenamento alternato
Il generatore e il discriminatore hanno procedure di addestramento diverse. Quindi, come si addestra la GAN nel suo complesso?
L'addestramento della GAN procede in periodi alternati:
- Il discriminatore viene addestrato per una o più epoche.
- Il generatore viene addestrato per una o più epoche.
- Ripeti i passaggi 1 e 2 per continuare ad addestrare le reti del generatore e del discriminatore.
Manteniamo costante il generatore durante la fase di addestramento del discriminatore. Poiché l'addestramento del discriminatore cerca di capire come distinguere i dati reali da quelli falsi, deve imparare a riconoscere i difetti del generatore. Si tratta di un problema diverso per un generatore ben addestrato rispetto a un generatore non addestrato che produce output casuali.
Analogamente, manteniamo costante il discriminatore durante la fase di addestramento del generatore. In caso contrario, il generatore tenterà di colpire un bersaglio in movimento e potrebbe non convergere mai.
È questo continuo scambio che consente alle GAN di affrontare problemi generativi altrimenti intrattabili. Entriamo nel difficile problema generativo iniziando con un problema di classificazione molto più semplice. Al contrario, se non riesci a formare un classificatore in grado di distinguere i dati reali da quelli generati anche per l'output iniziale del generatore casuale, non puoi avviare l'addestramento del GAN.
Convergenza
Man mano che il generatore migliora con l'addestramento, il rendimento del discriminatore peggiora perché non riesce a distinguere facilmente le immagini reali da quelle false. Se il generatore funziona perfettamente, il discriminatore ha un'accuratezza del 50%. In pratica, il discriminatore lancia una moneta per fare la sua previsione.
Questa progressione pone un problema per la convergenza della GAN nel suo complesso: il feedback del discriminatore diventa meno significativo nel tempo. Se il GAN continua l'addestramento oltre il punto in cui il discriminatore fornisce un feedback completamente random, il generatore inizia ad allenarsi con feedback indesiderati e la sua qualità potrebbe collassare.
Per una GAN, la convergenza è spesso uno stato temporaneo anziché stabile.