Makine Öğrenimi Sözlüğü: Dizi Modelleri

Bu sayfa, Dizi Modelleri sözlük terimlerini içerir. Tüm sözlük terimleri için burayı tıklayın.

B

Bigram

#seq

#language

N=2 olan bir N-gram.

E

patlayan gradyan sorunu

#seq

Derin nöral ağlardaki (özellikle yinelenen nöral ağlardaki) gradyanların şaşırtıcı derecede dik (yüksek) olma eğilimi. Dik gradyanlar genellikle derin bir sinir ağındaki her bir düğümin ağırlıklarında çok büyük güncellemelere neden olur.

Patlayan gradyan sorunundan muzdarip olan modellerin eğitilmesi zor veya imkansız hale gelir. Renk geçişi kırpma bu sorunu azaltabilir.

Yok olan gradyan sorunuyla karşılaştırın.

F

unutma kapısı

#seq

Uzun Kısa Süreli Bellek hücresinin, hücredeki bilgi akışını düzenleyen bölümü. Kapılar, hücre durumundan hangi bilgilerin silineceğine karar vererek bağlamı korur.

G

gradyan kırpma

#seq

Patlayan gradyan sorununu hafifletmek amacıyla, bir modeli eğitmek için gradyan iniş kullanılırken maksimum renk geçişi değerini yapay bir şekilde sınırlandırarak (kırparak) yaygın olarak kullanılan bir mekanizma.

L

Uzun Kısa Vadeli Bellek (LSTM)

#seq

El yazısı tanıma, makine çevirisi ve görüntü altyazısı gibi uygulamalarda veri dizilerini işlemek için kullanılan, yinelenen bir nöral ağda bulunan bir hücre türü. LSTM'ler, geçmişi RNN'deki önceki hücrelerden gelen yeni giriş ve bağlama göre dahili bellek durumunda tutarak RNN'ler eğitilirken ortaya çıkan kaybolan gradyan sorununu ele alır.

LSTM

#seq

Uzun Kısa Terimli Bellek'in kısaltması.

N

N-gram

#seq

#language

N kelimeden oluşan sıralı bir dizi. Örneğin, truly madly 2 gramdır. Düzen alakalı olduğundan, gerçekten, gerçekten deli gibi farklı bir 2 gramdır.

N	Bu N-gram türünün adları	Örnekler
2	bigram veya 2 gram	gidiş, gitme, öğle yemeği, akşam yemeği yemek
3	trigram veya 3 gram	çok yemişti, üç adet kör fare ve zil sesi
4	4 gram	parkta yürüme, rüzgardaki toz, çocuk mercimek yedi

Birçok doğal dil anlama modeli, kullanıcının yazacağı veya söyleyeceği bir sonraki kelimeyi tahmin etmek için N-gramlardan yararlanır. Örneğin, bir kullanıcının üç kör yazdığını varsayalım. Trigrama dayalı bir NLU modeli muhtemelen kullanıcının bir sonraki mikrofon türünü tahmin edeceğini tahmin eder.

N gramlarını, sıralanmamış kelime kümeleri olan kelime torbası ile karşılaştırın.

R

tekrarlayan nöral ağ

#seq

Bilinçli olarak birden fazla kez çalıştırılan ve her çalıştırmanın parçalarının bir sonraki çalıştırmaya aktarıldığı bir nöral ağ. Özellikle, önceki çalıştırmadaki gizli katmanlar, girişin bir bölümünü bir sonraki çalıştırmada aynı gizli katmana sağlar. Yinelenen nöral ağlar, özellikle dizilerin değerlendirilmesinde faydalıdır. Böylece gizli katmanlar, dizinin önceki kısımlarında sinir ağının önceki çalıştırmalarından bilgi edinebilir.

Örneğin, aşağıdaki şekilde dört kez çalışan bir tekrar eden nöral ağ gösterilmektedir. İlk çalıştırmada gizli katmanlarda öğrenilen değerlerin, ikinci çalıştırmada aynı gizli katmanlardaki girişin parçası haline geldiğine dikkat edin. Benzer şekilde, ikinci çalıştırmada gizli katmanda öğrenilen değerler de üçüncü çalıştırmada aynı gizli katman girişinin parçası olur. Bu şekilde, yinelenen nöral ağ tek tek kelimelerin anlamını değil, tüm dizinin anlamını kademeli olarak eğitir ve tahmin eder.

RNN

#seq

Yinelenen nöral ağların kısaltması.

S

sıra modeli

#seq

Girişleri sıralı bir bağımlılığa sahip olan bir model. Örneğin, önceden izlenen bir video dizisine dayanarak izlenen bir sonraki videoyu tahmin edebilirsiniz.

T

zaman adım

#seq

Yineleyen bir nöral ağ içinde, "hazırlanmamış" bir hücre. Örneğin, aşağıdaki şekilde üç zaman adımı gösterilmektedir (t-1, t ve t+1 alt simgeleriyle etiketlenmiştir):

trigram

#seq

#language

N=3'ün içinde olduğu bir N-gram.

V

kaybolan gradyan sorunu

#seq

Bazı derin sinir ağlarının ilk gizli katmanlarının gradyanlarının şaşırtıcı derecede düz (düşük) olma eğilimi. Giderek daha düşük gradyanlar, derin sinir ağındaki düğümlerin ağırlıklarında giderek daha az değişiklik yapılmasına neden olur. Bu da çok az öğrenmeye veya hiç öğrenmeye yol açmaz. Yok olan gradyan sorunundan muzdarip olan modellerin eğitilmesi zorlaşıyor veya imkansız hale geliyor. Uzun Kısa Dönemli Bellek hücreleri bu sorunu ele alır.

Patlayan gradyan sorunu ile karşılaştırın.