Halaman ini diterjemahkan oleh Cloud Translation API.

Jaringan Neural Multikelas: Softmax

Ingat bahwa regresi logistik memberikan angka desimal antara 0 dan 1,0. Misalnya, output regresi logistik 0,8 dari pengklasifikasi email menunjukkan 80% kemungkinan bahwa email tersebut merupakan spam dan 20% kemungkinan bahwa email tersebut bukan spam. Jelas, jumlah probabilitas email untuk menjadi spam atau bukan spam adalah 1,0.

Softmax memperluas ide ini ke dunia multi-class. Artinya, Softmax menetapkan probabilitas desimal ke setiap class dalam masalah multi-class. Probabilitas desimal tersebut harus berjumlah 1,0. Batasan tambahan ini membantu pelatihan bertemu lebih cepat dari yang seharusnya.

Misalnya, kembali ke analisis gambar yang kita lihat pada Gambar 1, Softmax dapat menghasilkan kemungkinan sebuah gambar dari class tertentu berikut:

Class	Probability
apple	0,001
beruang	0,04
permen	0,008
anjing	0,95
telur	0,001

Softmax diimplementasikan melalui lapisan jaringan neural tepat sebelum lapisan output. Lapisan Softmax harus memiliki jumlah node yang sama dengan lapisan output.

Jaringan neural dalam dengan lapisan input, dua lapisan tersembunyi yang tidak memiliki deskripsi, kemudian lapisan Softmax, dan terakhir lapisan output dengan jumlah node yang sama dengan lapisan Softmax.

Gambar 2. Lapisan Softmax dalam jaringan neural.

Klik ikon plus untuk melihat persamaan Softmax.

Persamaan Softmax tersebut adalah sebagai berikut:

$$p(y = j|\textbf{x}) = \frac{e^{(\textbf{w}_j^{T}\textbf{x} + b_j)}}{\sum_{k\in K} {e^{(\textbf{w}_k^{T}\textbf{x} + b_k)}} }$$

Perhatikan bahwa formula ini pada dasarnya memperluas formula untuk regresi logistik ke dalam beberapa class.

Opsi Softmax

Pertimbangkan varian Softmax berikut:

Full Softmax adalah Softmax yang sedang didiskusikan; yaitu, Softmax yang menghitung kemungkinan dari setiap kelas yang mungkin.
Pengambilan sampel kandidat berarti bahwa Softmax menghitung kemungkinan untuk semua label positif, tetapi hanya untuk sampel acak label negatif. Misalnya, jika kita tertarik untuk menentukan apakah gambar input adalah jenis anjing beagle atau anjing darah anjing, kita tidak harus memberikan kemungkinan untuk setiap contoh non-dog.

Full Softmax cukup murah ketika jumlah kelasnya kecil, namun akan menjadi sangat mahal saat jumlah kelasnya meningkat. Pengambilan sampel kandidat dapat meningkatkan efisiensi dalam masalah yang melibatkan jumlah class yang besar.

Satu Label vs. Banyak Label

Softmax mengasumsikan bahwa setiap contoh merupakan anggota dari satu kelas saja. Namun, beberapa contoh dapat menjadi anggota beberapa class secara bersamaan. Untuk contoh tersebut:

Anda tidak dapat menggunakan Softmax.
Anda harus mengandalkan lebih dari satu regresi logistik.

Misalnya, contoh Anda adalah gambar yang berisi tepat satu item—sepotong buah. Softmax dapat menentukan kemungkinan bahwa satu item tersebut adalah pir, jeruk, apel, dan sebagainya. Jika contoh Anda adalah gambar yang berisi semua jenis cawan—berbagai jenis buah—Anda harus menggunakan beberapa regresi logistik.