GAN Varyasyonları

Araştırmacılar, GAN'lar için daha iyi GAN teknikleri ve yeni kullanım alanları bulmaya devam ediyor. Olasılıklar hakkında fikir edinmeniz için GAN varyasyonlarından bir örnek aşağıda verilmiştir.

Progresif GAN'lar

İlerleme kaydeden GAN'da, üretenin ilk katmanları çok düşük çözünürlüklü resimler oluşturur ve sonraki katmanlar ayrıntılar ekler. Bu teknik, GAN'ın benzer, aşamalı olmayan GAN'lara kıyasla daha hızlı eğitilmesine olanak tanır ve daha yüksek çözünürlüklü resimler oluşturur.

Daha fazla bilgi için Karras ve diğerleri, 2017 başlıklı makaleyi inceleyin.

Koşullu GAN'lar

Koşullu GAN'lar, etiketli bir veri kümesiyle eğitilir ve oluşturulan her örnek için etiketi belirtmenize olanak tanır. Örneğin, koşulsuz bir MNIST GAN rastgele basamaklar üretirken koşullu bir MNIST GAN, GAN'ın hangi basamağı oluşturacağını belirtmenize olanak tanır.

Koşullu GAN'lar, P(X, Y) ortak olasılığını modellemek yerine P(X | Y) koşullu olasılığını modeller.

Koşullu GAN'lar hakkında daha fazla bilgi için Mirza ve diğerleri, 2014 makalesine bakın.

Resimden resme çeviri

Resimden resme çeviri GAN'ları, giriş olarak bir resim alır ve bu resmi farklı özelliklere sahip oluşturulmuş bir çıkış resmiyle eşler. Örneğin, araba şeklinde bir renk topağı içeren bir maske resmi alabilir ve GAN bu şekli fotogerçekçi araba ayrıntılarıyla doldurabilir.

Benzer şekilde, resimden resme GAN'ı eğiterek çanta taslaklarını çantaların fotogerçekçi resimlerine dönüştürebilirsiniz.

El çantası resimlerinin yer aldığı 3x3 tablo. Her satırda farklı bir çanta stili gösterilir. Her satırda en soldaki resim, bir çantanın basit bir çizgi çizimi, ortadaki resim gerçek bir çantanın fotoğrafı ve en sağdaki resim ise GAN tarafından oluşturulan fotogerçekçi bir resimdir. Üç sütun "Giriş", "Kesin Referans" ve "Çıktı" olarak etiketlenmiştir.

Bu durumlarda kayıp, ayırt edici temelli normal kaybın ve kaynak görüntüden ayrıldığı için üreticiyi cezalandıran piksel bazında bir kaybın ağırlıklı bir kombinasyonudur.

Daha fazla bilgi için Isola ve ark., 2016 makalesine bakın.

CycleGAN

CycleGAN'lar, bir gruptaki resimleri başka bir gruba ait olabilecek resimlere dönüştürmeyi öğrenir. Örneğin, bir CycleGAN, giriş olarak soldaki resim verildiğinde aşağıdaki sağdaki resmi oluşturdu. Bir atın resmini alıp zebra resmine dönüştürdü.

Koşan bir atın resmi ve atın zebra olması dışında her açıdan aynı olan ikinci bir resim.

CycleGAN'ın eğitim verileri yalnızca iki resim grubudur (bu örnekte bir grup at resmi ve bir grup zebra resmi). Sistem, resimler arasında etiket veya eşleme gerektirmez.

Daha fazla bilgi için Zhu ve diğerleri, 2017 makalesine bakın. Bu makalede, eşlenmiş veriler olmadan resimden resme çeviri yapmak için CycleGAN'ın kullanımı gösterilmektedir.

Metinden Görüntü Sentezi

Metinden görsele GAN'lar, metni giriş olarak alır ve metinde açıklanan, makul görseller oluşturur. Örneğin, aşağıdaki çiçek resmi bir GAN'a metin açıklaması beslenerek üretilmiştir.

"Bu çiçeğin yaprakları turuncu tonlarında sarıya sahiptir." Turuncu tonlarında sarı yaprakları olan bir çiçek.

Bu sistemde GAN'ın yalnızca küçük bir sınıf grubundan resim üretebileceğini unutmayın.

Daha fazla bilgi için Zhang ve ark., 2016 makalesine bakın.

Süper çözünürlük

Süper çözünürlüklü GAN'lar, bulanık alanları doldurmak için gerektiğinde ayrıntı ekleyerek resimlerin çözünürlüğünü artırır. Örneğin, aşağıdaki bulanık ortadaki resim, soldaki orijinal resmin düşük örneklenmiş bir sürümüdür. Bulanık görüntüyü temel alan GAN, sağdaki daha net görüntüyü oluşturdu:

OrijinalBulanıkGAN ile geri yüklendi
Ayrıntılı bir başörtüsü takmış bir kızın resmi. Başlığın kafa bandı karmaşık bir desenle örülmüştür. Ayrıntılı bir başörtüsü takmış bir kızın resminin bulanık bir versiyonu. Ayrıntılı bir başörtüsü Bu resim, bu tablodaki ilk resme neredeyse aynıdır ancak başlığındaki ve giysilerindeki desenlerdeki bazı ayrıntılar birbirinden farklıdır.

GAN tarafından oluşturulan resim orijinal resme çok benziyor ancak kafa bandına yakından bakarsanız GAN'ın orijinaldeki yıldız patlaması desenini yeniden üretmediğini görürsünüz. Bunun yerine, azaltma işlemiyle silinen desenin yerine kendi makul desenini oluşturdu.

Daha fazla bilgi için Ledig et al, 2017 başlıklı makaleyi inceleyin.

Yüz İç Boyama

GAN'lar, semantik resim doldurma görevi için kullanılmıştır. Resim doldurma görevinde, resmin bazı bölümleri karartılır ve sistem eksik bölümleri doldurmaya çalışır.

Yeh ve diğerleri, 2017, yüz resimlerini doldurma konusunda diğer tekniklerden daha iyi performans göstermek için bir GAN kullandı:

GirişGAN Çıkışı
Dört resim. Her resim, bazı alanlarının siyahla değiştirildiği bir yüzün fotoğrafıdır. Dört resim. Her resim, siyah alan olmaması dışında "Giriş" sütunundaki resimlerden biriyle aynı olan bir yüzün fotoğrafıdır.

Metin Okuma

Tüm GAN'lar resim üretmez. Örneğin, araştırmacılar metin girişinden sentetik konuşma üretmek için de GAN'ları kullanmıştır. Daha fazla bilgi için Yang et al, 2017 makalesine bakın.