GAN memiliki sejumlah mode kegagalan umum. Semua masalah umum ini adalah area riset aktif. Meskipun tidak satu pun dari masalah tersebut yang sepenuhnya telah diselesaikan, kami akan menyebutkan beberapa hal yang telah dicoba orang lain.
Gradien yang Menghilang
Riset menunjukkan bahwa jika pembeda Anda terlalu baik, pelatihan generator dapat gagal karena menghilangnya gradien. Akibatnya, discriminator yang optimal tidak memberikan informasi yang cukup bagi generator untuk membuat progres.
Upaya Hukum
- Kehilangan wasserstein: Kehilangan wasserstein dirancang untuk mencegah hilangnya gradien bahkan saat Anda melatih pembeda untuk mengoptimalkan.
- Kehilangan minimax yang dimodifikasi: Kertas GAN awal mengusulkan modifikasi pada kehilangan minimax untuk menangani gradien yang hilang.
Mode Ciutkan
Biasanya Anda ingin GAN menghasilkan berbagai macam output. Misalnya, Anda ingin, wajah yang berbeda untuk setiap input acak ke generator wajah Anda.
Namun, jika generator menghasilkan output yang sangat masuk akal, generator dapat belajar untuk menghasilkan hanya output tersebut. Bahkan, generator selalu mencoba menemukan satu output yang paling masuk akal bagi pembeda tersebut.
Jika generator mulai menghasilkan output yang sama (atau kumpulan output kecil) berulang-ulang, strategi terbaik pembedanya adalah belajar untuk selalu menolak output tersebut. Namun, jika diskriminator generasi berikutnya terhenti di minimum lokal dan tidak menemukan strategi terbaik, maka iterasi iterasi generator berikutnya akan terlalu mudah ditemukan untuk output yang paling masuk akal untuk diskriminator saat ini.
Setiap iterasi generator terlalu optimal untuk pembeda tertentu, dan diskriminator tidak pernah berhasil mempelajari jalan keluarnya dari jebakan. Akibatnya, generator berputar melalui beberapa jenis output. Bentuk kegagalan GAN ini disebut mode ciutkan.
Upaya Hukum
Pendekatan berikut mencoba memaksa generator untuk memperluas cakupannya dengan mencegahnya mengoptimalkan satu diskriminator tetap:
- Kehilangan wasserstein: Kehilangan wasserstein mengurangi keruntuhan mode dengan memungkinkan Anda melatih diskriminator ke optimalitas tanpa khawatir tentang menghilangkan gradien. Jika diskriminator tidak macet di minima lokal, aplikasi tersebut akan belajar menolak output yang distabilkan oleh generator. Jadi, generator harus mencoba sesuatu yang baru.
- Gantungan yang Tidak Digulung: GAN yang Belum Digulung menggunakan fungsi kerugian generator yang menggabungkan tidak hanya klasifikasi discriminator saat ini, tetapi juga output dari versi diskriminator di masa mendatang. Jadi, generator tidak dapat melakukan pengoptimalan berlebihan untuk satu discriminator.
Kegagalan untuk Konvensi
GAN sering gagal dikonvergensi, seperti yang dibahas dalam modul tentang pelatihan.
Upaya Hukum
Peneliti telah mencoba menggunakan berbagai bentuk regulerisasi untuk meningkatkan konvergensi GAN, termasuk:
- Menambahkan derau ke input diskriminator: Lihat, misalnya, Metode Menuju Prinsif untuk Melatih Jaringan Adversari Generatif .
- Menggantungkan bobot pembeda: Lihat, misalnya, Menstabilkan Pelatihan Jaringan Adversari Generatif melalui Regularisasi.