Poiché un GAN contiene due reti addestrate separatamente, il suo algoritmo di addestramento deve risolvere due complicazioni:
- I GAN devono destreggiarsi tra due diversi tipi di formazione (generatore e discriminatore).
- La convergenza GAN è difficile da identificare.
Formazione alternata
Il generatore e il discriminatore hanno vari processi di addestramento. Quindi, come addestriamo il GAN nel suo complesso?
L'addestramento dei GAN procede a intervalli alternati:
- Il discriminatore si allena per uno o più periodi.
- Il generatore si allena per uno o più periodi.
- Ripeti i passaggi 1 e 2 per continuare ad addestrare le reti generatore e discriminatore.
Manteniamo il generatore costante durante la fase di addestramento dei discriminatori. Mentre l'addestramento ai discriminatori cerca di capire come distinguere i dati reali da falsi, deve imparare a riconoscere i difetti del generatore. Questo è un problema diverso per un generatore accuratamente addestrato rispetto a un generatore non addestrato che produce un output casuale.
In modo simile, mantieni la costante di discriminazione durante la fase di addestramento del generatore. In caso contrario, il generatore cercherà di raggiungere un target in movimento e potrebbe non convergere mai.
È questo continuo movimento che consente ai GAN di affrontare problemi generativi altrimenti intrattabili. C'è una difficoltà nel problema generativo difficile, iniziando con un problema di classificazione molto più semplice. Al contrario, se non è possibile addestrare un classificatore per distinguere i dati reali da quelli generati anche per l'output iniziale del generatore casuale, non è possibile iniziare l'addestramento GAN.
Convergenza
Mano a mano che il generatore migliora con l'addestramento, le prestazioni dei discriminatori diventano peggiori perché non riconoscono facilmente la differenza tra reale e falso. Se il generatore ottiene risultati ottimali, il discriminatore ha un'accuratezza del 50%. In effetti, il discriminatore lancia una moneta per fare la sua previsione.
Questa progressione rappresenta un problema per la convergenza del GAN nel suo complesso: il feedback degli utenti discriminatori diventa meno significativo nel tempo. Se il GAN continua l'addestramento oltre il punto in cui il discriminatore fornisce un feedback completamente casuale, il generatore inizia ad allenarsi in base al feedback indesiderato e la sua qualità potrebbe crollare.
Per un GAN, la convergenza è spesso uno stato breve, anziché stabile.