Latar Belakang: Apa yang dimaksud dengan Model Generatif?

Apa arti dari "quoer;generative" dalam nama "Jaringan Adversarial Generatif"? "Generatif" menjelaskan class model statistik yang kontras dengan model diskriminatif.

Secara informal:

  • Model generatif dapat menghasilkan instance data baru.
  • Model diskriminatif membedakan berbagai jenis instance data.

Model generatif dapat menghasilkan foto baru hewan yang terlihat seperti hewan sungguhan, sedangkan model diskriminatif dapat memberi tahu anjing dari kucing. GAN hanyalah salah satu jenis model generatif.

Secara lebih formal, dengan mempertimbangkan kumpulan instance data X dan kumpulan label Y:

  • Model generatif menangkap probabilitas gabungan p(X, Y), atau hanya p(X) jika tidak ada label.
  • Model diskriminatif menangkap probabilitas kondisional p(Y | X).

Model generatif mencakup distribusi data itu sendiri, dan memberi tahu Anda seberapa besar kemungkinan contoh yang diberikan. Misalnya, model yang memprediksi kata berikutnya dalam urutan biasanya merupakan model generatif (biasanya jauh lebih sederhana daripada GAN) karena dapat menetapkan probabilitas ke urutan kata.

Model diskriminatif mengabaikan pertanyaan apakah instance tertentu memungkinkan, dan hanya memberi tahu Anda seberapa besar kemungkinan label akan diterapkan pada instance tersebut.

Perhatikan bahwa ini adalah definisi yang sangat umum. Ada banyak jenis model generatif. GAN hanyalah salah satu jenis model generatif.

Probabilitas Pemodelan

Kedua model tidak perlu menampilkan angka yang mewakili probabilitas. Anda dapat membuat model distribusi data dengan meniru distribusi tersebut.

Misalnya, pengklasifikasi diskriminatif seperti pohon keputusan dapat memberi label pada instance tanpa menetapkan probabilitas ke label tersebut. Pengklasifikasi tersebut akan tetap menjadi model karena distribusi semua label yang diprediksi akan menyimulasikan distribusi label yang sebenarnya dalam data.

Demikian pula, model generatif dapat memodelkan distribusi dengan menghasilkan data "memalsukan" yang seolah-olah tampak diambil dari distribusi tersebut.

Model Generatif Sulit

Model generatif menangani tugas yang lebih sulit dibandingkan model diskriminatif. Model generatif harus membuat model lebih banyak.

Model generatif untuk gambar mungkin menangkap korelasi seperti "hal yang terlihat seperti perahu mungkin akan muncul di dekat hal-hal yang terlihat seperti air" dan "mata tidak mungkin muncul di dahi." Distribusi ini sangat rumit.

Sebaliknya, model diskriminatif dapat mempelajari perbedaan antara "perahu layar" atau "bukan perahu layar" hanya dengan mencari beberapa pola bercerita. Fitur ini dapat mengabaikan banyak korelasi yang harus dipahami dengan benar oleh model generatif.

Model diskriminatif mencoba menggambar batas dalam ruang data, sementara model generatif akan mencoba membuat model cara data ditempatkan di seluruh ruang. Misalnya, diagram berikut menunjukkan model diskriminatif dan generatif dari digit tulisan tangan:

Dua grafik, satu berlabel 'Model Diskriminatif'
          dan lainnya diberi label 'Model Generatif'. Kedua grafik menunjukkan empat titik data yang sama. Setiap titik diberi label dengan gambar
          digit tulisan tangan yang diwakilinya. Pada grafik diskriminatif, ada garis putus-putus yang memisahkan dua titik data dari dua titik lainnya. Wilayah di atas garis putus-putus diberi label 'y=0' dan
          wilayah di bawah garis diberi label 'y=1'. Pada grafik generatif,
          dua lingkaran putus-putus digambar di sekitar dua pasang titik. Lingkaran atas
          diberi label 'y=0' dan lingkaran bawah diberi label 'y=1

Gambar 1: Model diskriminatif dan generatif dari digit tulisan tangan.

Model diskriminatif mencoba membedakan antara 0's dan 1' tulisan tangan dengan menggambar garis di ruang data. Jika barisnya tepat, dapat membedakan 0 dari 1 tanpa harus membuat model secara tepat di mana instance ditempatkan di ruang data di kedua sisi baris.

Sebaliknya, model generatif mencoba menghasilkan angka 1's dan 0'yang meyakinkan dengan menghasilkan angka yang mendekati pasangan aslinya dalam ruang data. Class harus membuat model distribusi di seluruh ruang data.

GAN menawarkan cara efektif untuk melatih model yang kaya tersebut agar menyerupai distribusi sebenarnya. Untuk memahami cara kerjanya, kita harus memahami struktur dasar GAN.

Memeriksa Pemahaman Anda: Model Generasi vs. Diskriminatif

Anda memiliki skor IQ untuk 1000 orang. Anda memodelkan distribusi skor IQ dengan prosedur berikut:
  1. Lempar tiga dadu enam sisi.
  2. Kalikan lemparan dengan konstanta w.
  3. Ulangi 100 kali dan ambil rata-rata dari semua hasil.
Anda mencoba nilai yang berbeda untuk w hingga hasil prosedur Anda sama dengan rata-rata skor IQ sebenarnya. Apakah model Anda merupakan model generatif atau model diskriminatif?
Model generatif
Benar: dengan setiap lemparan, Anda menghasilkan IQ orang imajiner secara efektif. Selain itu, model generatif Anda menangkap fakta bahwa skor IQ didistribusikan secara normal (yaitu, pada kurva lonceng).
Model diskriminatif
Salah: model diskriminatif analog akan mencoba membedakan berbagai jenis skor IQ. Misalnya, model diskriminatif mungkin mencoba mengklasifikasikan IQ sebagai palsu atau nyata.
Tidak cukup informasi untuk disampaikan.
Model ini memang cocok dengan definisi salah satu dari dua jenis model kami.
Model menampilkan probabilitas saat Anda memberikannya instance data. Apakah model ini merupakan model generatif atau model diskriminatif?
Model generatif
Model generatif dapat memperkirakan probabilitas instance, dan juga probabilitas label class.
Model diskriminatif
Model diskriminatif dapat memperkirakan probabilitas bahwa instance milik class.
Tidak cukup informasi untuk disampaikan.
Model generatif dan diskriminatif dapat memperkirakan probabilitas (tetapi tidak harus).