Latar belakang: Apa yang dimaksud dengan Model Generatif?

Apa yang dimaksud dengan "generatif" dalam nama "Generative Adversarial Network"? "Generatif" menjelaskan class model statistik yang kontras dengan model diskriminatif.

Secara informal:

  • Model Generatif dapat menghasilkan instance data baru.
  • Model Diskriminatif membedakan berbagai jenis instance data.

Model generatif dapat menghasilkan foto baru hewan yang terlihat seperti hewan sungguhan, sedangkan model diskriminatif dapat membedakan dari kucing. GAN hanya salah satu jenis model generatif.

Secara lebih formal, dengan sekumpulan instance data X dan sekumpulan label Y:

  • Model Generatif menangkap probabilitas gabungan p(X, Y), atau hanya p(X) jika tidak ada label.
  • Model Diskriminatif menangkap probabilitas bersyarat p(Y | X).

Model generatif mencakup distribusi data itu sendiri, dan memberi tahu Anda kemungkinan contoh tertentu. Misalnya, model yang memprediksi kata berikutnya dalam urutan biasanya merupakan model generatif (biasanya jauh lebih sederhana daripada GAN) karena dapat menetapkan probabilitas ke urutan kata.

Model diskriminatif mengabaikan pertanyaan apakah instance tertentu kemungkinan akan terjadi, dan hanya memberi tahu Anda kemungkinan label akan diterapkan ke instance.

Perhatikan bahwa ini adalah definisi yang sangat umum. Ada banyak jenis model generatif. GAN hanyalah salah satu jenis model generatif.

Membuat Model Probabilitas

Kedua jenis model tersebut tidak harus menampilkan angka yang mewakili probabilitas. Anda dapat membuat model distribusi data dengan meniru distribusi tersebut.

Misalnya, pengklasifikasi diskriminatif seperti pohon keputusan dapat memberi label pada instance tanpa menetapkan probabilitas ke label tersebut. Pengklasifikasi tersebut masih akan menjadi model karena distribusi semua label yang diprediksi akan membuat model distribusi label yang sebenarnya dalam data.

Demikian pula, model generatif dapat membuat model distribusi dengan menghasilkan data "palsu" yang meyakinkan yang terlihat seperti diambil dari distribusi tersebut.

Model Generatif Sulit

Model generatif menangani tugas yang lebih sulit daripada model diskriminatif analog. Model generatif harus membuat model lebih banyak.

Model generatif untuk gambar dapat menangkap korelasi seperti "hal yang terlihat seperti perahu mungkin akan muncul di dekat hal yang terlihat seperti air" dan "mata tidak mungkin muncul di dahi". Ini adalah distribusi yang sangat rumit.

Sebaliknya, model diskriminatif mungkin mempelajari perbedaan antara "perahu layar" atau "bukan perahu layar" hanya dengan mencari beberapa pola yang mencolok. Hal ini dapat mengabaikan banyak korelasi yang harus dilakukan model generatif dengan benar.

Model diskriminatif mencoba menggambar batas di ruang data, sedangkan model generatif mencoba membuat model cara data ditempatkan di seluruh ruang. Misalnya, diagram berikut menunjukkan model diskriminatif dan generatif dari angka tulisan tangan:

Dua grafik, satu berlabel 'Model Diskriminatif'
          dan yang lainnya berlabel 'Model Generatif'. Kedua grafik menampilkan empat titik data yang sama. Setiap titik diberi label dengan gambar
          digit tulisan tangan yang diwakilinya. Dalam grafik diskriminatif, ada garis putus-putus yang memisahkan dua titik data dari dua titik data lainnya. Wilayah di atas garis putus-putus diberi label 'y=0' dan
          wilayah di bawah garis diberi label 'y=1'. Dalam grafik generatif,
          dua lingkaran garis putus-putus digambar di sekitar dua pasang titik. Lingkaran
          atas diberi label 'y=0' dan lingkaran bawah diberi label 'y=1

Gambar 1: Model diskriminatif dan generatif dari digit tulisan tangan.

Model diskriminatif mencoba membedakan antara angka 0 dan 1 yang ditulis tangan dengan menggambar garis di ruang data. Jika garisnya benar, model ini dapat membedakan 0 dari 1 tanpa harus membuat model persis tempat instance ditempatkan di ruang data di kedua sisi garis.

Sebaliknya, model generatif mencoba menghasilkan angka 1 dan 0 yang meyakinkan dengan menghasilkan angka yang mendekati angka sebenarnya di ruang data. Model ini harus membuat model distribusi di seluruh ruang data.

GAN menawarkan cara yang efektif untuk melatih model yang kaya tersebut agar menyerupai distribusi yang sebenarnya. Untuk memahami cara kerjanya, kita perlu memahami struktur dasar GAN.

Memeriksa Pemahaman Anda: Model Generatif vs. Diskriminatif

Anda memiliki skor IQ untuk 1.000 orang. Anda membuat model distribusi skor IQ dengan prosedur berikut:
  1. Lempar tiga dadu enam sisi.
  2. Kalikan roll dengan konstanta w.
  3. Ulangi 100 kali dan ambil rata-rata dari semua hasilnya.
Anda mencoba berbagai nilai untuk w hingga hasil prosedur Anda sama dengan rata-rata skor IQ yang sebenarnya. Apakah model Anda merupakan model generatif atau model diskriminatif?
Model generatif
Tidak cukup informasi untuk mengetahuinya.
Model diskriminatif
Model menampilkan probabilitas saat Anda memberinya instance data. Apakah model ini merupakan model generatif atau model diskriminatif?
Model diskriminatif
Model generatif
Tidak cukup informasi untuk mengetahuinya.