Glosarium Machine Learning: Model Urutan

Halaman ini berisi istilah glosarium Model Urutan. Untuk semua istilah glosarium, klik di sini.

B

Bigram

#seq

#language

N-gram yang mana N=2.

E

masalah gradien meledak

#seq

Kecenderungan untuk gradasi di jaringan neural dalam (terutama jaringan neural berulang) menjadi sangat curam (tinggi). Gradien yang curam sering menyebabkan update yang sangat besar pada bobot setiap node dalam jaringan neural dalam.

Model yang mengalami masalah gradien yang meledak menjadi sulit atau tidak mungkin dilatih. Klip gradien dapat mengurangi masalah ini.

Bandingkan dengan menghilangkan masalah gradien.

F

gerbang lupa

#seq

Bagian sel Memori Jangka Pendek yang mengatur alur informasi melalui sel. Lupakan gate untuk mempertahankan konteks dengan memutuskan informasi mana yang akan dihapus dari status sel.

G

pemotongan gradien

#seq

Mekanisme yang umum digunakan untuk mengurangi masalah gradien peledakan dengan cara yang membatasi (memotong) nilai maksimum gradien saat menggunakan penurunan gradien untuk melatih model.

L

Memori Jangka Pendek Panjang (LSTM)

#seq

Jenis sel dalam jaringan neural berulang yang digunakan untuk memproses urutan data dalam aplikasi seperti pengenalan tulis tangan, terjemahan mesin, dan teks gambar. LSTM mengatasi masalah gradien yang hilang yang terjadi saat melatih RNN karena urutan data yang panjang dengan mempertahankan histori dalam status memori internal berdasarkan konteks dan input baru dari sel sebelumnya di RNN.

LSTM

#seq

Singkatan dari Memori Jangka Pendek.

T

N-gram

#seq

#language

Urutan N kata yang diurutkan. Misalnya, truly madly adalah 2 gram. Karena urutan bersifat relevan, nilai 2 gram pada madlytrue berbeda dengan truly madly.

T	Nama untuk jenis N-gram ini	Contoh
2	bigram atau 2 gram	pergi, pergi, makan siang, makan malam
3	trigram atau 3 gram	makan terlalu banyak, tiga tikus buta, lonceng berbunyi
4	4 gram	berjalan di taman, debu di angin, anak laki-laki itu makan lentil

Banyak model natural language understanding bergantung pada N-gram untuk memprediksi kata berikutnya yang akan diketik atau diucapkan pengguna. Misalnya, anggap pengguna mengetik tiga blind. Model NLU berdasarkan trigram kemungkinan akan memprediksi bahwa pengguna selanjutnya akan mengetik mice.

Berbeda dengan Ngram dengan tas kata, yang merupakan rangkaian kata yang tidak berurutan.

R

jaringan berulang berulang

#seq

Jaringan neural yang sengaja dijalankan beberapa kali, yang mana bagian dari setiap feed akan dijalankan pada proses berikutnya. Secara khusus, lapisan tersembunyi dari proses sebelumnya memberikan bagian input ke lapisan tersembunyi yang sama pada proses berikutnya. Jaringan neural berulang sangat berguna untuk mengevaluasi urutan, sehingga lapisan tersembunyi dapat belajar dari jaringan neural sebelumnya di bagian urutan sebelumnya.

Misalnya, gambar berikut menunjukkan jaringan neural berulang yang dijalankan empat kali. Perhatikan bahwa nilai yang dipelajari di lapisan tersembunyi dari proses pertama menjadi bagian dari input untuk lapisan tersembunyi yang sama pada proses kedua. Demikian pula, nilai yang dipelajari di lapisan tersembunyi pada proses kedua menjadi bagian dari input untuk lapisan tersembunyi yang sama pada proses ketiga. Dengan cara ini, jaringan neural berulang secara bertahap melatih dan memprediksi makna dari keseluruhan urutan, bukan hanya arti dari setiap kata.

RNN

#seq

Singkatan untuk recurrent neural networks.

S

model urutan

#seq

Model yang inputnya memiliki dependensi berurutan. Misalnya, memprediksi video berikutnya yang ditonton dari urutan video yang sebelumnya ditonton.

T

langkah

#seq

Satu "unrolled" sel dalam jaringan neural berulang. Misalnya, gambar berikut menunjukkan tiga langkah waktu (diberi label dengan subskrip t-1, t, dan t+1):

trigram

#seq

#language

N-gram yang mana N=3.

V

masalah gradien hilang

#seq

Kecenderungan gradien gradien lapisan tersembunyi awal untuk beberapa jaringan neural dalam ternyata sangat datar (rendah). Gradien yang semakin rendah mengakibatkan perubahan bobot yang semakin kecil pada node dalam jaringan neural dalam, sehingga menyebabkan sedikit atau tidak ada pembelajaran. Model yang mengalami masalah gradien yang hilang akan sulit atau tidak mungkin dilatih. Sel Memori Jangka Panjang mengatasi masalah ini.

Bandingkan dengan ledakkan masalah gradien.