Karena GAN berisi dua jaringan yang dilatih secara terpisah, algoritma pelatihannya harus mengatasi dua komplikasi:
- GAN harus melakukan dua jenis pelatihan yang berbeda (generator dan diskriminator).
- Konvergensi GAN sulit diidentifikasi.
Pelatihan Bergantian
Generator dan diskriminator memiliki proses pelatihan yang berbeda. Jadi, bagaimana cara melatih GAN secara keseluruhan?
Pelatihan GAN berlangsung dalam periode bergantian:
- Diskriminator dilatih selama satu atau beberapa epoch.
- Generator dilatih selama satu atau beberapa epoch.
- Ulangi langkah 1 dan 2 untuk terus melatih jaringan generator dan diskriminator.
Kami mempertahankan generator agar tetap konstan selama fase pelatihan diskriminator. Saat pelatihan diskriminator mencoba mencari tahu cara membedakan data asli dari palsu, diskriminator harus mempelajari cara mengenali kekurangan generator. Ini adalah masalah yang berbeda untuk generator yang dilatih secara menyeluruh dibandingkan dengan generator yang tidak terlatih yang menghasilkan output acak.
Demikian pula, kita mempertahankan diskriminator tetap selama fase pelatihan generator. Jika tidak, generator akan mencoba mencapai target yang bergerak dan mungkin tidak pernah berkonvergensi.
Proses bolak-balik inilah yang memungkinkan GAN mengatasi masalah generatif yang tidak dapat diatasi. Kita mendapatkan pijakan dalam masalah generatif yang sulit dengan memulai dari masalah klasifikasi yang jauh lebih sederhana. Sebaliknya, jika Anda tidak dapat melatih pengklasifikasi untuk membedakan antara data nyata dan data yang dihasilkan, bahkan untuk output generator acak awal, Anda tidak dapat memulai pelatihan GAN.
Konvergensi
Seiring dengan peningkatan generator melalui pelatihan, performa diskriminator menjadi lebih buruk karena diskriminator tidak dapat dengan mudah membedakan antara yang nyata dan palsu. Jika generator berhasil dengan sempurna, diskriminator memiliki akurasi 50%. Akibatnya, diskriminator melemparkan koin untuk membuat prediksinya.
Progres ini menimbulkan masalah untuk konvergensi GAN secara keseluruhan: masukan diskriminator menjadi kurang bermakna seiring waktu. Jika GAN terus berlatih setelah diskriminator memberikan masukan yang benar-benar acak, generator akan mulai berlatih dengan masukan sampah, dan kualitasnya sendiri dapat runtuh.
Untuk GAN, konvergensi sering kali merupakan status yang singkat, bukan stabil.