GAN Varyasyonları

Araştırmacılar daha iyi GAN teknikleri ve yeni GAN kullanımları bulmaya devam ediyor. Olasılık hakkında fikir vermek için aşağıda GAN varyantlarından örnekler verilmiştir.

Progresif GAN'lar

Progresif bir GAN'da, oluşturucunun ilk katmanları çok düşük çözünürlüklü görüntüler üretir, sonraki katmanlar ise ayrıntı ekler. Bu teknik, GAN'ın progresif olmayan GAN'lara göre daha hızlı bir şekilde eğitilmesini sağlar ve daha yüksek çözünürlüklü görüntüler üretir.

Daha fazla bilgi edinmek için Karras ve diğerleri, 2017 başlıklı makaleye bakın.

Koşullu GAN'lar

Koşullu GAN'lar, etiketli bir veri kümesi üzerinde eğitilir ve oluşturulan her örnek için etiketi belirtmenize olanak tanır. Örneğin, koşulsuz bir MNIST GAN rastgele rakamlar üretirken koşullu bir MNIST GAN, GAN'ın oluşturması gereken basamağı belirtmenizi sağlar.

Koşullu GAN'lar, ortak olasılık P(X, Y) modelini oluşturmak yerine koşullu olasılığı P(X | Y) modeller.

Koşullu GAN'lar hakkında daha fazla bilgi için Mirza ve diğerleri, 2014'e bakın.

Resimden Resime Çeviri

Resimden Resime Dönüştürülen GAN'lar, resmi giriş olarak alır ve farklı özelliklerle oluşturulmuş bir çıkış resmiyle eşler. Örneğin, arabanın şekline göre renk lekesi olan bir maske resmi çizebiliriz. GAN, şekli fotogerçekçi araba ayrıntılarıyla doldurabilir.

Benzer şekilde, el çantalarının eskizlerini almak ve bunları el çantalarının fotogerçekçi resimlerine dönüştürmek için resimden resimli GAN'ı eğitebilirsiniz.

Çanta resimlerinin 3x3 boyutunda bir tablosu. Her satırda farklı bir el çantası stili gösterilir. Her satırda, en soldaki resim basit bir çizgi çizimdir. El çantasının ortadaki resmi gerçek bir el çantasının fotoğrafıdır. En sağdaki resim ise bir GAN tarafından oluşturulan fotogerçekçi resimdir. Üç sütun 'Input', 'Ground Truth' ve 'output' şeklinde etiketlenir.

Bu tür durumlarda kayıp, normal ayrımcılığa dayalı kaybın ve piksel odaklı kaybın ağırlıklı bir kombinasyonudur. Bu sayede, kaynak resmi ayırmak için oluşturucuyu cezalandırır.

Daha fazla bilgi için Isola et al, 2016 sayfasına bakın.

Bisiklet Döngüsü

CycleGAN'ler, bir kümedeki resimleri muhtemelen başka bir gruba ait olabilecek resimlere dönüştürmeyi öğrenir. Örneğin, bir CycleGAN sol taraftaki resim girdi olarak verildiğinde sağ taraftaki resmi üretmiştir. Bir atın görüntüsünü alıp zebra resmine dönüştürdü.

Atın resmi ve atın zebra olduğu halleri dışında tüm belirtilerde aynı olan ikinci bir resim.

CycleGAN için eğitim verileri sadece iki resim kümesinden oluşur (bu örnekte, bir dizi at resmi ve bir zebra resmi grubudur). Sistem, resimler arasında etiket veya ikili eşleşme gerektirmez.

Daha fazla bilgi için, eşlenmiş veri olmadan resimden resime çeviri yapmak için CycleGAN'in kullanımını gösteren Zhu et al, 2017 konusuna bakın.

Metin-Metin Sentezi

Metin-Resmi GAN'lar, metni giriş olarak alır ve makul ve metin tarafından açıklanan resimler oluşturur. Örneğin, aşağıdaki çiçek resmi, bir GAN'a metin açıklaması beslenerek oluşturulur.

"Bu çiçek, yaprakları turuncu tonlarında sarı yaprak içeriyor." Turuncu tonlarında sarı, yaprakları olan bir çiçek.

Bu sistemde GAN'ın yalnızca küçük bir sınıf gruptan resim oluşturabileceğini unutmayın.

Daha fazla bilgi için Zhang ve diğerleri, 2016 başlıklı makaleyi inceleyin.

Süper çözünürlük

Süper çözünürlüklü GAN'lar, görüntülerin çözünürlüğünü artırarak bulanık alanları doldurmak için gerekli olan alanları ekler. Örneğin, aşağıdaki bulanık ortadaki resim, sol taraftaki orijinal resmin aşağı örneklenmiş bir sürümüdür. Bulanık olan resim göz önüne alındığında, bir GAN sağdaki daha keskin resim üretmiştir:

OrijinalBulanıkGAN ile geri yüklendi
Şık bir takma ad giyen bir kızın tablosu. Kulaklık örgüsü karmaşık bir desenle örülmüştür. Şık bir başlık takan bir kız çocuğunun resminin bulanık versiyonu. Şık bir adres giyen bir kızın net ve net bir resmi. Bu tablo, bu tablodaki ilk resimle neredeyse aynı olsa da başlığı ve kıyafeti üzerindeki desenlerle ilgili bazı ayrıntılar küçük farklılıklar gösteriyor.

GAN tarafından oluşturulan resim, orijinal resme çok benzer ancak saç bandına yakından baktığınızda GAN'ın orijinal fotoğraftan yıldız oluşumunu yeniden oluşturmadığını görürsünüz. Bunun yerine, aşağı örnekleme tarafından silinen kalıbı değiştirmek için kendi makul kalıbını oluşturdu.

Daha fazla bilgi edinmek için Ledig ve diğerleri, 2017 sayfasını inceleyin.

Yüz Boyama

GAN'lar, semantik resim boyama görevi için kullanılır. İç içe aktarma görevinde, bir resmin parçaları karartılır ve sistem eksik olan parçaları doldurmaya çalışır.

Yeh ve diğerleri, 2017, yüz resimleri boyamayla ilgili diğer tekniklerden daha iyi performans gösteren bir GAN kullandı:

GirGAN Çıkışı
Dört resim. Her görüntü, bazı bölgeleri siyahla değiştirilen bir yüzün fotoğrafıdır. Dört resim. Her resim, siyah alan olmaması dışında, &Giriş sütunundaki sütunlardan biriyle aynı olan bir yüzün fotoğrafıdır.

Text-to-Speech

Tüm GAN'lar görüntü üretmez. Örneğin, araştırmacılar metin girişinde sentezlenmiş konuşmayı üretmek için GAN'ları da kullandı. Daha fazla bilgi için Yang ve diğerleri, 2017 bölümüne bakın.