Jaringan Neural: Struktur

Untuk melihat bagaimana jaringan neural dapat membantu masalah nonlinear, mari kita mulai dengan merepresentasikan model linear sebagai grafik:

Tiga lingkaran biru dalam sederet dihubungkan oleh panah ke lingkaran hijau di atasnya

Gambar 3. Model linear sebagai grafik.

Setiap lingkaran biru mewakili fitur {i>input<i}, dan lingkaran hijau mewakili jumlah input terbobot.

Bagaimana kita bisa mengubah model ini untuk meningkatkan kemampuannya dalam menangani menyelesaikan masalah?

Lapisan Tersembunyi

Dalam model yang diwakili oleh grafik berikut, kita telah menambahkan "lapisan tersembunyi" nilai perantara. Setiap simpul kuning di lapisan tersembunyi adalah jumlah tertimbang nilai node input berwarna biru. Output-nya adalah jumlah terbobot dari kuning node.

Tiga lingkaran biru dalam satu baris diberi label

Gambar 4. Grafik model dua lapis.

Apakah model ini linear? Ya—outputnya masih merupakan kombinasi linear input-nya.

Dalam model yang diwakili oleh grafik berikut, kita telah menambahkan elemen lapisan jumlah tertimbang.

Tiga lingkaran biru dalam satu baris diberi label

Gambar 5. Grafik model tiga lapis.

Apakah model ini masih linear? Ya, itu benar. Saat Anda mengekspresikan output sebagai input tersebut dan menyederhanakannya, Anda hanya mendapatkan jumlah input. Jumlah ini tidak akan membuat model masalah nonlinier secara efektif pada Gambar 2.

Fungsi Aktivasi

Untuk membuat model masalah nonlinear, kita dapat langsung memperkenalkan nonlinearitas. Kita dapat menyalurkan pipa setiap simpul lapisan tersembunyi melalui fungsi nonlinear.

Pada model yang ditampilkan oleh grafik berikut, nilai dari setiap node dalam Lapisan Tersembunyi 1 ditransformasikan oleh fungsi nonlinear sebelum diteruskan ke jumlah terbobot lapisan berikutnya. Fungsi nonlinear ini disebut aktivasi.

Sama seperti gambar sebelumnya, hanya saja deretan lingkaran merah muda berlabel &#39;Lapisan Transformasi Non-Linear&#39; telah ditambahkan di antara dua lapisan tersembunyi.

Gambar 6. Grafik model tiga lapis dengan fungsi aktivasi.

Setelah kita menambahkan fungsi aktivasi, penambahan lapisan memberikan dampak yang lebih besar. Menumpuk nonlinearitas pada nonlinearitas memungkinkan kita membuat model hubungan antara input dan output yang diprediksi. Singkatnya, masing-masing secara efektif mempelajari fungsi yang lebih kompleks dan tingkat tinggi melalui input mentah. Jika Anda ingin mengembangkan lebih banyak intuisi tentang cara kerjanya, Postingan blog Chris Olah yang luar biasa.

Fungsi Aktivasi Umum

Fungsi aktivasi sigmoid berikut mengonversi jumlah tertimbang menjadi nilai antara 0 dan 1.

$$F(x)=\frac{1} {1+e^{-x}}$$

Berikut plotnya:

Fungsi sigmoid

Gambar 7. Fungsi aktivasi sigmoid.

Fungsi aktivasi unit linear terarah berikut (atau ULT, untuk singkat) sering bekerja sedikit lebih baik daripada fungsi mulus seperti sigmoid, sekaligus lebih mudah dihitung.

$$F(x)=max(0,x)$$

Keunggulan ULT didasarkan pada temuan empiris, mungkin didorong oleh ULT memiliki rentang responsivitas yang lebih berguna. Responsivitas sigmoid menurun dengan relatif cepat di kedua sisi.

Fungsi aktivasi ULT

Gambar 8. Fungsi aktivasi ULT.

Bahkan, fungsi matematika apa pun dapat berfungsi sebagai fungsi aktivasi. Misalkan \(\sigma\) mewakili fungsi aktivasi kita (Relu, Sigmoid, atau apa pun). Karenanya, nilai simpul dalam jaringan diberikan oleh rumus:

$$\sigma(\boldsymbol w \cdot \boldsymbol x+b)$$

Ringkasan

Sekarang model kita memiliki semua komponen standar yang biasanya digunakan oleh artinya jika tertulis "jaringan neural":

  • Sekumpulan node, analog dengan neuron, yang tersusun dalam lapisan.
  • Satu set bobot yang mewakili koneksi antara setiap jaringan neural {i>layer<i} dan lapisan di bawahnya. Lapisan di bawahnya mungkin lapisan jaringan neural lain, atau jenis lapisan lain.
  • Serangkaian bias, satu untuk setiap node.
  • Fungsi aktivasi yang mengubah output setiap node di lapisan. Lapisan yang berbeda mungkin memiliki fungsi aktivasi yang berbeda.

Peringatan: jaringan neural tidak selalu lebih baik daripada persilangan fitur, tetapi jaringan neural menawarkan alternatif fleksibel yang berfungsi dengan baik dalam banyak kasus.

Sebelumnya
Pengantar (5 mnt)
Berikutnya
Pelatihan menggunakan propagasi mundur (10 mnt)