Glosarium Machine Learning: Model Urutan

Halaman ini berisi istilah glosarium Model Urutan. Untuk semua istilah glosarium, klik di sini.

B

Bigram

#seq

#language

N-gram yang mana N=2.

E

masalah gradien yang meledak

#seq

Kecenderungan gradien di jaringan neural dalam (terutama jaringan neural berulang) menjadi sangat curam (tinggi). Gradien curam sering menyebabkan pembaruan yang sangat besar pada bobot setiap node di jaringan neural dalam.

Model yang mengalami masalah gradien yang meledak menjadi sulit atau tidak mungkin dilatih. Pemangkasan gradien dapat mengurangi masalah ini.

Bandingkan dengan masalah gradien yang hilang.

J

gerbang lupa

#seq

Bagian dari sel Memori Jangka Pendek yang Panjang yang mengatur aliran informasi melalui sel. Lupakan gateway untuk mempertahankan konteks dengan menentukan informasi mana yang akan dihapus dari status sel.

G

pemotongan gradien

#seq

Mekanisme yang biasa digunakan untuk mengurangi masalah gradien yang meledak dengan membatasi (memotong) nilai gradien maksimum secara artifisial saat menggunakan penurunan gradien untuk melatih model.

L

Memori Jangka Pendek (LSTM) yang Panjang

#seq

Jenis sel di jaringan neural berulang yang digunakan untuk memproses urutan data dalam aplikasi seperti pengenalan tulisan tangan, terjemahan mesin, dan teks gambar. LSTM menangani masalah gradien yang hilang yang terjadi saat melatih RNN karena urutan data yang lama dengan mempertahankan histori dalam status memori internal berdasarkan input dan konteks baru dari sel sebelumnya di RNN.

LSTM

#seq

Singkatan untuk Memori Jangka Pendek Panjang.

N

N gram

#seq

#language

Urutan N kata yang diurutkan. Misalnya, truly madly adalah 2 gram. Karena urutan bersifat relevan, nilai 2 gram pada madly true berbeda dengan truly madly.

N	Nama untuk jenis N-gram ini	Contoh
2	bigram atau 2 gram	pergi, makan, makan siang, dan makan malam
3	trigram atau 3 gram	makan terlalu banyak, tiga tikus tunanetra, bel berbunyi
4	4 gram	berjalan di taman, debu tertiup angin, anak itu makan lentil

Banyak model natural language understanding bergantung pada N-gram untuk memprediksi kata berikutnya yang akan diketik atau diucapkan pengguna. Misalnya, seorang pengguna mengetik three blind. Model NLU berdasarkan trigram kemungkinan akan memprediksi bahwa pengguna selanjutnya akan mengetik mice.

Membandingkan N-gram dengan kantong data, yang merupakan rangkaian kata yang tidak berurutan.

R

jaringan neural berulang (recurrent neural network)

#seq

Jaringan neural yang sengaja dijalankan beberapa kali, yang mana bagian dari setiap feed akan dijalankan pada proses berikutnya. Secara khusus, lapisan tersembunyi dari proses sebelumnya memberikan bagian dari input ke lapisan tersembunyi yang sama pada proses berikutnya. Jaringan neural berulang sangat berguna untuk mengevaluasi urutan, sehingga lapisan tersembunyi dapat belajar dari pengoperasian jaringan neural sebelumnya pada bagian urutan sebelumnya.

Misalnya, gambar berikut menunjukkan jaringan neural berulang yang berjalan empat kali. Perhatikan bahwa nilai yang dipelajari di lapisan tersembunyi dari proses pertama menjadi bagian dari input untuk lapisan tersembunyi yang sama dalam proses kedua. Demikian pula, nilai yang dipelajari dalam lapisan tersembunyi pada proses kedua menjadi bagian dari input untuk lapisan tersembunyi yang sama dalam proses ketiga. Dengan cara ini, jaringan neural berulang secara bertahap melatih dan memprediksi makna dari keseluruhan urutan, bukan hanya arti dari setiap kata.

RNN

#seq

Singkatan untuk recurrent neural networks.

M

model urutan

#seq

Model yang inputnya memiliki dependensi berurutan. Misalnya, memprediksi video berikutnya yang akan ditonton dari urutan video yang ditonton sebelumnya.

T

timestep

#seq

Satu sel "unrolled" dalam jaringan neural berulang. Misalnya, gambar berikut menunjukkan tiga langkah waktu (dilabeli dengan subskrip t-1, t, dan t+1):

trigram

#seq

#language

N-gram yang mana N=3.

V

masalah gradien yang menghilang

#seq

Kecenderungan gradien lapisan tersembunyi awal dari beberapa jaringan neural dalam menjadi sangat mengejutkan (rendah). Gradien yang semakin rendah akan menghasilkan perubahan yang semakin kecil pada bobot pada node dalam jaringan neural dalam, yang menyebabkan sedikit atau tidak ada pembelajaran. Model yang mengalami masalah gradien yang menghilang akan sulit atau tidak mungkin dilatih. Sel Memori Jangka Pendek mengatasi masalah ini.

Bandingkan dengan masalah gradien yang meledak.