Karena GAN berisi dua jaringan yang dilatih secara terpisah, algoritme pelatihannya harus mengatasi dua detail:
- GAN harus menyusun dua jenis pelatihan yang berbeda (generator dan diskriminasi).
- Konvergensi GAN sulit diidentifikasi.
Pelatihan Alternatif
Generator dan diskriminator memiliki proses pelatihan yang berbeda. Jadi, bagaimana cara melatih GAN secara keseluruhan?
Pelatihan GAN berlangsung dalam periode yang bergantian:
- Diskriminator dilatih untuk satu atau beberapa epoch.
- Generator dilatih untuk satu atau beberapa epoch.
- Ulangi langkah 1 dan 2 untuk terus melatih jaringan generator dan diskriminasi.
Kami menjaga generator konstan selama fase pelatihan discriminator. Saat pelatihan diskriminator mencoba mengetahui cara membedakan data sungguhan dari palsu, sistem tersebut harus mempelajari cara mengenali kelemahan generator. Itu adalah masalah yang berbeda untuk generator yang terlatih secara menyeluruh dibandingkan generator yang tidak terlatih yang menghasilkan output acak.
Demikian pula, kita menjaga konstanta diskriminator selama fase pelatihan generator. Jika tidak, generator akan mencoba mencapai target yang bergerak dan mungkin tidak pernah bertemu.
Dengan begitu, GAN dapat mengatasi masalah generatif yang tidak dapat diubah. Kita mendapatkan hambatan dalam masalah generatif yang sulit dengan memulainya dengan masalah klasifikasi yang jauh lebih sederhana. Sebaliknya, jika Anda tidak dapat melatih pengklasifikasi untuk membedakan antara data nyata dan data yang dihasilkan bahkan untuk output generator acak awal, Anda tidak dapat memulai pelatihan GAN.
Konvergensi
Seiring meningkatnya generator dengan pelatihan, performa diskriminator menjadi lebih buruk karena diskriminator tidak dapat dengan mudah membedakan antara nyata dan palsu. Jika generator berhasil bekerja dengan sempurna, maka diskriminator memiliki akurasi 50%. Akibatnya, diskriminator melempar koin untuk membuat prediksinya.
Perkembangan ini menimbulkan masalah untuk konvergensi GAN secara keseluruhan: masukan dari diskriminator menjadi kurang bermakna dari waktu ke waktu. Jika GAN terus melatih melewati titik saat diskriminator memberikan masukan benar-benar acak, generator akan mulai melatih masukan sampah, dan kualitasnya dapat menurun.
Untuk GAN, konvergensi sering kali berupa status sekilas, bukan stabil.