Bu bölümde, yerleştirme işlemi için yaygın olarak kullanılan iki teknik ele alınmaktadır:
- Boyut azaltma
- Daha büyük bir sinir ağı modelinden yerleştirilmiş öğe çıkarma
Boyut azaltma teknikleri
Önemli bilgileri tespit etmek için birçok matematiksel teknik vardır. yüksek boyutlu bir uzayın yapısı. Teoride, Bu tekniklerden herhangi biri, bir makineye gömme işlemi oluşturmak için kullanılabilir. öğrenim sistemidir.
Örneğin, ana bileşen analizi (PCA) kelime yerleştirmeleri oluşturmak için kullanıldı. Örneğin, kelime torbası vektörleri gibi, PCA'nın yüksek düzeyde ilişkili boyutları bulmak için tek bir boyuta daraltılabilir. boyutunu oluşturabilirsiniz.
Sinir ağının parçası olarak yerleştirmeyi eğitme
Bir öğeyi eğitirken nöral ağ belirleneceğini konuşacağız. Bu yaklaşım sayesinde en iyi şekilde özelleştirilmiş ancak yerleştirme işlemini ayrı ayrı eğitmekten daha uzun sürebilir.
Genel olarak, nöral sayfanızda d boyutunda gizli bir katman oluşturabilirsiniz belirlenmiş bir ağda yerleştirme katmanı, burada d hem gizli katmandaki düğüm sayısını hem de sayısını temsil eder boyutu eklersiniz. Bu yerleştirme katmanı şunlarla birlikte kullanılabilir: özellikleri ve gizli katmanları içerir. Her derin sinir ağında olduğu gibi Düğümlerdeki kayıpları en aza indirmek için parametreler, eğitim sırasında ağın çıkış katmanına bakalım.
Gıda önerisi örneğimize dönersek, hedefimiz mevcut favorilerine göre kullanıcının seveceği yeni öğünleri tahmin etmek öğütülmüştür. Öncelikle, kullanıcılarımızın deneyimleri hakkında ek veriler derleyebiliriz. en iyi beş favori besinler. Böylece bu görevi gözetimli bir öğrenme problemi olarak modelleyebiliriz. Hedef EBM'yi bu beş yiyecekten dördüne bakalım ve sonra rastgele bir şekilde beşinci yiyecek olarak adlandırılacak, modelimizin tahmin etmeyi hedeflediği, modelin softmax kullanarak yaptığı tahminleri kaybetmezsiniz.
Sinir ağı modeli, eğitim sırasında her bir siparişin optimum ağırlıklarını öğrenir. yerleştirme katmanı görevi gören ilk gizli katmandaki düğümler Örneğin, modelin ilk gizli katmanda üç düğüm varsa gıda maddeleriyle ilişkili en alakalı üç boyutun ise sandviç, tatlılık ve likitlik. Şekil 12'de tek sıcak kodlu, "sosisli sandviç" için giriş değeri dönüştürüldüğünü göreceksiniz.
![Şekil 12. Hot dog'un tek sıcak kodlanması için nöral ağ. İlk katman bir
her birinde yiyecekle ilgili bir simge bulunan 5 düğümlü bir giriş katmanı
temsil eder (borş çorbası, sosisli sandviç, salata, ... ve şavurma). Bu düğümlerde
sırasıyla tek sıcaklığı temsil eden [0, 1, 0, ..., 0] değerleri
"sosisli sandviç" kodlaması. Giriş katmanı, 3 düğümlü bir yerleştirmeye bağlı
katmanını tanımlar. İlgili içeriği oluşturmak için kullanılan
gömme katmanı, 5 düğümlü bir gizli katmana bağlıdır; bu katman,
ve 5 düğümlü bir çıkış katmanına bağlıdır.](https://developers.google.cn/static/machine-learning/crash-course/embeddings/images/one_hot_hot_dog_embedding.png?authuser=3&hl=tr)
hot dog için tek seferlik kodlama
olarak sağlanan
bir metodoloji vardır. Yerleştirme katmanı
üç boyutlu yerleştirme vektörü için tek sıcak kodlama
[2.98, -0.75, 0]
Eğitim sırasında, yerleştirme katmanının ağırlıkları optimize edilir. Böylece yerleştirme vektörleri her ikisine de daha yakın olduğundan, diğer. Yerleştirme katmanının ayrı boyutları ( temsilidir) "tatlılık" kadar anlaşılır olma durumu veya "likitlik". Bazen "anlamları" çıkarılabilir olsa da bu her zaman öğrenin.
Yerleştirmeler genellikle göreve özeldir ve birbirinden farklı olacaktır bu bilgilerden yararlanabilirsiniz. Örneğin, vejetaryenler ile vejetaryenler tarafından oluşturulan yerleştirmeler vejetaryen olmayan sınıflandırma modelinin iki boyutu olabilir: et içeriği ve süt ürünleri. Bu arada, bir kahvaltı tarafından oluşturulan yerleştirmeler ile Amerikan mutfağı için akşam yemeği sınıflandırıcısının boyutları biraz farklı olabilir: kalori içeriği, tahıl içeriği ve et içeriği. "Mısır gevreği" ve "yumurtalı pastırmalı sandviç" bir öğenin yerleştirme alanında birbirine yakın kahvaltı ve akşam yemeği sınıflandırıcısını kullanırken, bir diğer sanal makinenin yerleştirme alanında vejetaryen olmayan ve vejetaryen olmayan sınıflandırıcıları kullanabilirsiniz.
Kelime yerleştirme eğitimi
Önceki bölümde şunları keşfettiniz: anlamsal ilişkilerin görselleştirilmesi word2vec yerleştirme alanı.
Word2vec, kelime yerleştirmeyi eğitmek için kullanılan birçok algoritmadan biridir. Anlamsal olarak benzerlikleri eşlemek için dağılım hipotezini kullanır yerleştirme vektörleri geometrik olarak kapatmak için kullanılır. Dağıtılan hipotez bu, genellikle aynı bitişik kelimeleri içeren kelimelerin anlam açısından benzerdir. Hem "köpek" ve "cat" sıklıkla "veteriner" kelimesini ve bu gerçek, anlam açısından benzerliklerini yansıtıyor. Dil bilimci John Firth'ün 1957'de söylediği gibi, "Şirketin söyledikleri sürdü."
Aşağıdaki videoda, daha basit bir model kullanarak sinir ağını eğitme sürecinin bir parçası olarak:
Statik ve içeriğe dayalı yerleştirmeler
Yukarıdaki videoda tartışılan gibi kelime yerleştirmeyle ilgili bir sınırlama statik olmaları gerekir. Her kelime, vektörlerde tek bir noktayla temsil edilir uzayın nasıl göründüğüne bağlı olarak çeşitli farklı anlamları olabilir cümle içinde nasıl kullanıldığını gösterir. Son alıştırmada, 100 kelimeden oluşan bu kelime için anlamsal benzerlikleri turuncu,bir rengi veya meyve türünü ifade edebiliyor.
Bu eksiklikleri gidermek için içeriğe dayalı yerleştirmeler geliştirilmiştir. İçeriğe dayalı yerleştirmeler, birden fazla temsilleri, her biri ürünle ilgili bilgileri içeren kelimenin kullanıldığı bağlama göre. İçeriğe dayalı yerleştirmede turuncu değerinin iki ayrı gösterimi olabilir: biri "renk"i yakalayan "En sevdiğim kazak resmi turuncu çizgili diğeri "meyve"yi yakalıyor kullanımı, "Portakal tamamen olgunlaşmadan ağaçtan çıkarıldı."