GAN'larda birkaç yaygın hata modu bulunur. Tüm bu yaygın sorunlar aktif araştırma alanlarıdır. Bu sorunların hiçbiri tamamen çözülmemiş olsa da insanların deneydiği bazı şeylerden bahsedeceğiz.
Yok olan Gradyanlar
Araştırmalara göre, ayrıştırıcınız çok iyiyse oluşturucu gradyanlar nedeniyle jeneratör eğitimi başarısız olabilir. Aslında, optimum bir ayrımcı, oluşturucunun ilerleme kaydetmesi için yeterli bilgi sağlamamaktadır.
Çözüm Alma Girişimleri
- Wasserstein kaybı: Wasserstein kaybı, ayrımcıyı optimum seviyeye eğitseniz bile gradyanların yok olmasını önlemek için tasarlanmıştır.
- Değiştirilmiş minimax kaybı: Orijinal GAN makalesinde, kaybolan gradyanlarla başa çıkılması için minimax kaybına yönelik bir değişiklik önerilmiştir.
Mod Daralt
Genellikle GAN'ınızın çok çeşitli çıkışlar üretmesini istersiniz. Örneğin, jeneratöre her giriş için farklı bir yüz istediğinizi varsayalım.
Bununla birlikte, bir jeneratör özellikle makul bir çıkış üretiyorsa üretkenliği yalnızca üretebilir. Aslında, jeneratör her zaman ayrımcı için en makul sonucu bulmak için çalışıyor.
Jeneratör tekrar tekrar aynı çıkışı (veya küçük bir çıkış grubu) üretmeye başlarsa ayrımcının en iyi stratejisi, o çıkışı her zaman reddetmeyi öğrenmektir. Ancak, ayrımcılığın yeni nesli yerel minimum performansa takılıp en iyi stratejiyi bulamazsa sonraki jeneratördeki iterasyonda mevcut ayrımcı için en makul sonucu bulmak çok kolay olacak.
Jeneratör her tekrarı belirli bir ayrımcı için aşırı optimizasyon gerçekleştirir ve ayrımcı asla tuzağın dışına çıkmayı öğrenemez. Bunun sonucunda jeneratörler, küçük bir çıkış türü grubu üzerinden döner. Bu GAN hatası türüne mode daralt denir.
Çözüm Alma Girişimleri
Aşağıdaki yaklaşımlar, oluşturucuyu tek bir sabit ayrımcı için optimizasyon yapmasını engelleyerek kapsamını genişletmeye zorlamaktadır:
- Wasserstein kaybı: Wasserstein kaybı, kaybolan gradyanlar konusunda endişelenmeden ayrımcıyı optimum seviyeye getirmenize olanak tanıyarak modun küçülmesini sağlar. Distribütör yerel minimum boyuta takılıp kalmazsa jeneratörün dengeli olduğu çıkışları reddetmeyi öğrenir. Jeneratörün yeni bir şeyler denemesi gerekiyor.
- Kullanımdan kaldırılan GAN'ler: Kullanıma sunulmayan GAN'ler yalnızca mevcut ayrımcı sınıflandırmalarını değil, aynı zamanda gelecekteki ayrımcı sürümlerinin versiyonlarını da içeren bir oluşturucu kaybı işlevi kullanır. Bu nedenle, oluşturucu tek bir ayrımcı için fazla optimizasyon yapamaz.
Birleştirme
Eğitim modülünde belirtildiği gibi, GAN'lar sık sık birleşmiyor.
Çözüm Alma Girişimleri
Araştırmacılar, GAN birleşmesini iyileştirmek için çeşitli normalleştirme biçimleri kullanmaya çalıştılar. Örneğin:
- Ayrımcı girişlere gürültü ekleme: Örneğin, İlkeli Zorlayıcı İçerik Ağlarını Öğrenmek İçin Yöntemler bölümüne bakın.
- Ayrımcı ağırlıklara ceza uygulama: Örneğin, Normalleştirme yoluyla Generversory Ağları'nın Eğitimini Dengeleme konusuna bakın.