Bu sayfada Üretken Yapay Zeka sözlüğü terimleri bulunmaktadır. Tüm sözlük terimleri için burayı tıklayın.
CEVAP
otomatik regresif model
Bir tahminde kendi önceki tahminlerine göre sonuç veren bir model. Örneğin, otomatik regresif dil modelleri, önceden tahmin edilen jetonlara dayanarak bir sonraki jetonu tahmin eder. Transformer tabanlı tüm büyük dil modelleri otomatik regresiftir.
Buna karşılık, GAN tabanlı görüntü modelleri ise görüntüyü adımlar halinde yinelemeli olarak değil, tek bir ileri geçişte oluşturdukları için genellikle otomatik regresif değildir. Ancak belirli görüntü oluşturma modelleri, birkaç adımda bir görüntü oluşturdukları için otomatik regresif olur.
C
düşünme zinciri
Büyük dil modelini (LLM) gerekçesini adım adım açıklamaya teşvik eden bir istem mühendisliği tekniğidir. Örneğin, ikinci cümleye özellikle dikkat ederek aşağıdaki istemi inceleyin:
7 saniyede saatte 0'dan 96 km hıza giden bir arabada bir sürücü kaç g'lik kuvvetle karşılaşır? Yanıtta alakalı tüm hesaplamaları gösterin.
LLM'nin yanıtı muhtemelen:
- Uygun yerlere 0, 60 ve 7 değerlerini ekleyerek bir fizik formülleri dizisi gösterin.
- Formülleri neden seçtiğini ve çeşitli değişkenlerin ne anlama geldiğini açıklayın.
Düşünce zincirinde yönlendirme, LLM'yi tüm hesaplamaları yapmaya zorlar. Bu da daha doğru bir yanıt sağlayabilir. Buna ek olarak, düşünce zinciriyle yönlendirme, kullanıcının LLM'nin adımlarını inceleyerek yanıtın mantıklı olup olmadığını belirlemesini sağlar.
sohbet
Genellikle büyük bir dil modeli olan bir ML sistemiyle karşılıklı diyalogların içeriği. Bir sohbetteki önceki etkileşim (yazdığınız şey ve büyük dil modelinin yanıtı), sohbetin sonraki bölümlerinin bağlamı olur.
Chatbot, büyük dil modelinin bir uygulamasıdır.
bağlama dayalı dil yerleştirme
Kelimeleri ve kelime öbeklerini ana dili olarak konuşan kişilerin anlayabileceği şekilde "anlamaya" yakın bir yerleştirme. Bağlamsallaştırılmış dil yerleştirmeleri karmaşık söz dizimini, anlamları ve bağlamı anlayabilir.
Örneğin, İngilizce cow kelimesinin yerleştirilmiş öğeleri ele alalım. word2vec gibi daha eski yerleştirme öğeleri, İngilizce kelimeleri temsil edebilir. Bu durumda, yerleştirme alanındaki inek ile boğa arasındaki mesafe, ewe (dişi koyun) ile ram (erkek koyun) veya kadın ile erkek arasındaki mesafeye benzerdir. Bağlamsallaştırılmış dil yerleştirmeleri, İngilizce konuşanların bazen inek kelimesini bazen inek veya boğa anlamına gelecek şekilde kullandığını fark ederek bir adım ileri gidebilir.
bağlam penceresi
Bir modelin belirli bir istemde işleyebileceği jeton sayısı. Bağlam penceresi ne kadar büyük olursa model, isteme tutarlı ve tutarlı yanıtlar vermek için o kadar fazla bilgi kullanabilir.
D
doğrudan isteme
Sıfır çekimli istem ile eş anlamlı.
damıtma
Bir model (model olarak bilinir) boyutunu, orijinal modelin tahminlerini olabildiğince güvenilir şekilde simüle eden daha küçük bir modele (model olarak bilinir) dönüştürme işlemi. Damıtma, küçük modelin büyük modele (öğretmen) kıyasla iki önemli avantajı olduğundan yararlıdır:
- Daha hızlı çıkarım süresi
- Bellek ve enerji kullanımı azaltıldı
Ancak öğrencinin tahminleri genellikle öğretmenin tahminleri kadar iyi olmaz.
Damıtma, öğrenci ve öğretmen modellerine ait tahminlerin çıktıları arasındaki farkı temel alarak kayıp işlevini en aza indirecek şekilde öğrenci modelini eğitir.
Arıtma işlemini aşağıdaki terimlerle karşılaştırın:
F
birkaç çekimlik istem
Büyük dil modelinin nasıl yanıt vermesi gerektiğini gösteren birden fazla ("birkaç") örnek içeren bir istem. Örneğin, aşağıdaki uzun istemde bir sorgunun nasıl yanıtlanacağı büyük bir dil modelinin nasıl yanıtlanacağını gösteren iki örnek bulunmaktadır.
| Tek bir istemin bölümleri | Notlar |
|---|---|
| Belirtilen ülkenin resmi para birimi nedir? | LLM'nin cevaplamasını istediğiniz soru. |
| Fransa: avro | Bir örnek. |
| Birleşik Krallık: GBP | Başka bir örnek. |
| Hindistan: | Gerçek sorgu. |
Az sayıda çekim istemi, genellikle sıfır çekim isteme ve tek seferlik istem işlemlerinden daha istenen sonuçlar verir. Ancak birkaç çekim için istemde daha uzun bir istem gerekir.
Az çekimli istem, isteme dayalı öğrenim için uygulanan bir birkaç aşamadan öğrenme biçimidir.
ince ayar
Önceden eğitilmiş bir model üzerinde gerçekleştirilen göreve özel ikinci bir eğitim kartı, modelin parametrelerini belirli bir kullanım alanına göre hassaslaştırır. Örneğin, bazı büyük dil modelleri için tam eğitim sırası aşağıdaki gibidir:
- Ön eğitim: İngilizce dilindeki tüm Wikipedia sayfaları gibi büyük bir genel veri kümesinde büyük bir dil modelini eğitin.
- Hassas ayar: Önceden eğitilmiş modeli tıbbi sorgulara yanıt verme gibi belirli bir görevi gerçekleştirecek şekilde eğitin. İnce ayarlar genellikle belirli bir göreve odaklanan yüz veya binlerce örnek içerir.
Başka bir örnek olarak, büyük resim modeli için tam eğitim sırası aşağıdaki gibidir:
- Ön eğitim: Wikimedia Commons'daki tüm resimler gibi büyük bir genel görüntü veri kümesinde büyük bir görüntü modelini eğitin.
- Hassas ayarlama: Önceden eğitilmiş modeli, orkaların görüntülerini oluşturma gibi belirli bir görevi gerçekleştirecek şekilde eğitin.
Hassas ayarlamalar için aşağıdaki stratejilerin herhangi bir kombinasyonu gerekebilir:
- Önceden eğitilmiş modelin mevcut parametrelerinin tümünü değiştirme. Bu bazen tam ince ayar olarak da adlandırılır.
- Önceden eğitilmiş modelin mevcut parametrelerinden sadece bazılarını değiştirirken (genellikle çıkış katmanına en yakın katmanlarda değişiklik yaparken) diğer mevcut parametreleri değiştirmeyin (tipik olarak, katmanlar giriş katmanına en yakın olanı yapın). Parametre açısından verimli ayarlama bölümünü inceleyin.
- Genellikle çıkış katmanına en yakın mevcut katmanların üzerine daha fazla katman ekleme.
Hassas ayarlama, bir öğrenme aktarma biçimidir. Bu nedenle ince ayarda, önceden eğitilmiş modeli eğitmek için kullanılanlardan farklı bir kayıp işlevi veya farklı bir model türü kullanılabilir. Örneğin, bir giriş görüntüsündeki kuş sayısını döndüren bir regresyon modeli oluşturmak için, önceden eğitilmiş büyük bir görüntü modelinde ince ayar yapabilirsiniz.
İnce ayarları aşağıdaki terimlerle karşılaştırın:
G
üretken yapay zeka
Resmi tanımı olmayan, dönüştürücü bir alan. Bununla birlikte, çoğu uzman, üretken yapay zeka modellerinin aşağıdakilerin tümünü barındıran içerikler oluşturabileceği konusunda hemfikirdir:
- karmaşık
- tutarlı
- orijinal
Örneğin, üretken yapay zeka modeli karmaşık makaleler veya görseller oluşturabilir.
LSTM ve RNN'ler gibi önceki bazı teknolojiler orijinal ve tutarlı içerik oluşturabilir. Bazı uzmanlar bu eski teknolojileri üretken yapay zeka olarak görürken diğerleri gerçek üretken yapay zekanın önceki teknolojilerin üretebileceğinden daha karmaşık çıktılar gerektirdiğini düşünüyor.
Tahmine dayalı makine öğrenimi ile kontrast oluşturun.
İ
bağlam içi öğrenme
Birkaç çekim istem ile eş anlamlı.
talimat ayarlama
Üretken yapay zeka modelinin talimatları uygulama becerisini geliştiren bir ince ayar şeklidir. Öğretim ayarlaması, genellikle çok çeşitli görevleri kapsayan bir dizi talimat istemine göre bir modeli eğitmeyi içerir. Ardından, talimata göre ayarlanmış olarak elde edilen model, çeşitli görevlerde sıfır çekimli istemlere yararlı yanıtlar oluşturma eğilimindedir.
Şunlarla karşılaştırın:
L
LoRA
Low-Rank Adaptability (Düşük Sırayla Uyarlanabilirlik) için kısaltma.
Düşük Sıralama Uyumluluğu (LoRA)
Büyük bir dil modelinin parametrelerinin yalnızca bir alt kümesinde ince ince ayarlar yapan, parametre açısından verimli ayarlama yapmak için kullanılan bir algoritmadır. LoRA'nın sunduğu avantajlar şunlardır:
- Bir modelin tüm parametrelerinde ince ayar yapılmasını gerektiren tekniklere kıyasla daha hızlı ince ayarlar.
- Hassas şekilde ayarlanmış modelde çıkarım işlemlerinin işlem maliyetini azaltır.
LoRA ile ayarlanan bir model, tahminlerinin kalitesini korur veya iyileştirir.
LoRA, bir modelin birden çok özel sürümünü etkinleştirir.
M
basamaklı model
Belirli bir çıkarım sorgusu için ideal model seçen bir sistem.
Çok büyükten (çok sayıda parametre) çok daha küçüke (çok daha az parametreye) kadar değişen bir model grubu düşünün. Çok büyük modeller, daha küçük modellere kıyasla çıkarım süresinde daha fazla bilgi işlem kaynağı tüketir. Bununla birlikte, çok büyük modeller genellikle daha küçük modellere kıyasla daha karmaşık istekleri tahmin edebilir. Model basamakları, çıkarım sorgusunun karmaşıklığını belirler ve çıkarımı gerçekleştirmek için uygun modeli seçer. Model geçişlerinin temel amacı, genellikle daha küçük modeller ve daha karmaşık sorgular için yalnızca daha büyük bir model seçerek çıkarım maliyetlerini azaltmaktır.
Küçük bir modelin telefonda çalıştığını ve bu modelin daha büyük bir sürümünün uzak bir sunucuda çalıştığını düşünün. İyi model basamakları, küçük modelin basit istekleri işlemesini sağlayarak ve karmaşık istekleri ele almak için yalnızca uzak modeli çağırarak maliyeti ve gecikmeyi azaltır.
Ayrıca model yönlendirici konusuna bakın.
model yönlendirici
model model için ideal model belirleyen algoritmadır. Model yönlendiricinin kendisi, genellikle belirli bir giriş için en iyi modeli nasıl seçeceğinizi kademeli olarak öğrenen bir makine öğrenimi modelidir. Ancak, model yönlendirici bazen daha basit, makine öğrenimi olmayan bir algoritma da olabilir.
O
tek seferlik istem
Büyük dil modelinin nasıl yanıt vermesi gerektiğini gösteren bir örnek içeren istem. Örneğin, aşağıdaki istemde büyük bir dil modelinin bir sorguyu nasıl yanıtlaması gerektiğini gösteren bir örnek bulunmaktadır.
| Tek bir istemin bölümleri | Notlar |
|---|---|
| Belirtilen ülkenin resmi para birimi nedir? | LLM'nin cevaplamasını istediğiniz soru. |
| Fransa: avro | Bir örnek. |
| Hindistan: | Gerçek sorgu. |
Tek seferlik istemleri aşağıdaki terimlerle karşılaştırın:
P
parametre açısından verimli ayarlama
Büyük bir önceden eğitilmiş dil modeline (PLM) tam ince ayardan daha verimli bir şekilde ince ayar yapmak için bir dizi teknik. Parametreyle verimli ayarlama, genellikle tam ince ayarlara kıyasla çok daha az parametrede ince ayar yapar. Ancak genellikle, tamamen hassas ayarlardan oluşmuş büyük bir dil modeliyle aynı düzeyde (veya neredeyse aynı düzeyde) performans gösteren büyük dil modeli üretir.
Parametre açısından verimli ayarları aşağıdakilerle karşılaştırın:
Parametre açısından verimli ayarlama, parametre açısından verimli ince ayar olarak da bilinir.
PLM
Önceden eğitilmiş dil modeli'nin kısaltmasıdır.
önceden eğitilmiş model
Eğitilmiş modeller veya model bileşenleri (yerleştirme vektörü gibi). Bazen bir nöral ağa, önceden eğitilmiş yerleştirilmiş vektörleri beslersiniz. Diğer durumlarda modeliniz, önceden eğitilmiş yerleştirmelere dayanmak yerine, yerleştirme vektörlerini kendileri eğitir.
Önceden eğitilmiş dil modeli terimi, ön eğitim almış büyük bir dil modelini ifade eder.
ön eğitim
Büyük bir veri kümesi üzerinde bir modelin ilk eğitimi. Önceden eğitilmiş bazı modeller sakar devlerdir ve genellikle ek eğitimle iyileştirilmesi gerekir. Örneğin, makine öğrenimi uzmanları Vikipedi'deki tüm İngilizce sayfalar gibi çok geniş bir metin veri kümesinde büyük bir dil modelini önceden eğitebilir. Ön eğitimin ardından ortaya çıkan model, aşağıdaki tekniklerden herhangi biri kullanılarak daha da hassaslaştırılabilir:
istem
Modelin belirli bir şekilde davranmasını sağlamak için büyük dil modeline giriş olarak girilen metinler. İstemler bir kelime öbeği kadar kısa veya rastgele uzun olabilir (örneğin, bir roman metninin tamamı). İstemler, aşağıdaki tabloda gösterilenler de dahil olmak üzere birden fazla kategoriye ayrılır:
| İstem kategorisi | Örnek | Notlar |
|---|---|---|
| Soru | Güvercin ne kadar hızlı uçabilir? | |
| Talimat | Arbitraj hakkında komik bir şiir yazın. | Büyük dil modelinden bir şey yapmasını isteyen bir istem. |
| Örnek | Markdown kodunu HTML'ye çevirin. Örneğin:
Markdown: * liste öğesi HTML: <ul> <li>liste öğesi</li> </ul> |
Bu örnek istemin ilk cümlesi bir talimattır. İstemin geri kalanı örnektir. |
| Rol | Fizik alanında doktora yapmak için makine öğrenimi eğitiminde gradyan inişin neden kullanıldığını açıklayın. | Cümlenin ilk bölümü bir talimat, "Fizik alanında doktora yapanlara" ifadesi ise rol kısmıdır. |
| Modelin tamamlanması için kısmi giriş | Birleşik Krallık Başbakanı'nın yaşadığı yer | Kısmi giriş istemi aniden (bu örnekte olduğu gibi) sona erebilir veya bir alt çizgiyle bitebilir. |
Üretken yapay zeka modelleri, istemlere metin, kod, resim, yerleştirme veya video gibi neredeyse her şeyle yanıt verebilir.
istem temelli öğrenim
Belirli modellerin rastgele metin girişlerine (istemler) yanıt olarak davranışlarını uyarlamalarını sağlayan özellik. Tipik bir istem tabanlı öğrenme paradigmasında büyük dil modeli, isteklere metin oluşturarak yanıt verir. Örneğin, bir kullanıcının şu istemi girdiğini varsayalım:
Newton'un üçüncü hareket yasasını özetleme.
İsteme dayalı öğrenme yapabilen bir model, önceki istemi yanıtlamak için özel olarak eğitilmemiştir. Bu model daha çok fizik, genel dil kuralları ve genel anlamda faydalı yanıtları oluşturanlar hakkında birçok olguyu "bilir". Bu bilgi (umarım) faydalı bir yanıt vermek için yeterlidir. İnsanlardan gelen ek geri bildirimler ("Bu cevap çok karmaşıktı" veya "Tepki nedir?"), bazı istem tabanlı öğrenim sistemlerinin yanıtlarının yararlılığını kademeli olarak iyileştirmesine olanak tanır.
istem tasarımı
İstem mühendisliği ile eş anlamlı.
istem mühendisliği
Büyük bir dil modelinden istenen yanıtları alan istemler oluşturma sanatı. İnsanlar hızlı mühendislik gerçekleştirir. İyi yapılandırılmış istemler yazmak, büyük bir dil modelinden faydalı yanıtlar almanın önemli bir parçasıdır. Hızlı mühendislik, aşağıdakiler dahil birçok faktöre bağlıdır:
- Büyük dil modeline önceden eğitim vermek ve muhtemelen ince ayar yapmak için kullanılan veri kümesi.
- Modelin yanıt oluşturmak için kullandığı sıcaklık ve diğer kod çözme parametreleri.
Faydalı istemler yazma hakkında daha fazla ayrıntı için İstem tasarımına giriş bölümüne bakın.
İstem tasarımı istem mühendisliği ile eş anlamlıdır.
istem ayarlama
Sistemin gerçek isteme eklediği bir "ön eki" öğrenen parametre açısından verimli ayarlama mekanizması.
Bazen ön ek ayarlama olarak da adlandırılan istem ayarının bir varyasyonu, ön eki her katmanda başa eklemektir. Bunun aksine, çoğu istem ayarı yalnızca giriş katmanına bir ön ek ekler.
R
İnsan geri bildirimlerinden yola çıkarak pekiştirmeli öğrenme (RLHF)
Bir modelin yanıtlarının kalitesini artırmak için gerçek kişi olan değerlendiricilerden gelen geri bildirimleri kullanma. Örneğin, RLHF mekanizması, kullanıcılardan bir modelin yanıtının kalitesini bir 👍 veya 👎 emojisiyle derecelendirmelerini isteyebilir. Sistem daha sonra bu geri bildirime göre gelecek yanıtlarını ayarlayabilir.
rol isteme
Üretken yapay zeka modelinin yanıtı için hedef kitleyi tanımlayan istemin isteğe bağlı bölümüdür. Büyük bir dil modeli, rol istemi olmadan soruları soran kişi için yararlı olabilecek veya olmayabilecek bir yanıt sağlar. Büyük bir dil modeli, rol istemi ile belirli bir hedef kitle için daha uygun ve faydalı şekilde yanıt verebilir. Örneğin, aşağıdaki istemlerin rol istemi bölümü kalın karakterlerle yazılmıştır:
- Ekonomi alanında doktora yapan bu makaleyi özetleyin.
- On yaşındaki bir çocukta gelgitlerin nasıl gerçekleştiğini açıklayabilme.
- 2008 ekonomik krizini açıklama. Küçük bir çocuğa veya bir Golden Retriever'a gibi konuşun.
S
yumuşak istem ayarı
Yoğun kaynak kullanmadan ince ayar yapmadan büyük bir dil modelini belirli bir görev için ayarlama tekniğidir. Modeldeki tüm ağırlıkları yeniden eğitmek yerine, yumuşak istem ayarı aynı hedefe ulaşmak için otomatik olarak bir istemi ayarlar.
Metin şeklindeki istem kullanıldığında yumuşak istem ayarı genellikle isteme ek jeton yerleştirmeleri ekler ve girişi optimize etmek için geri yayılım özelliğini kullanır.
"Sabit" istem, jeton yerleştirmeleri yerine gerçek jetonları içerir.
T
sıcaklık
Bir model çıkışının rastgelelik derecesini kontrol eden hiperparametre. Yüksek sıcaklıklar daha fazla rastgele çıkışla, düşük sıcaklıklar ise daha az rastgele çıkışla sonuçlanır.
En iyi sıcaklığın seçilmesi uygulamaya ve model çıktısının tercih edilen özelliklerine bağlıdır. Örneğin, reklam öğesi çıktısı üreten bir uygulama oluştururken muhtemelen sıcaklığı yükseltirsiniz. Buna karşılık, modelin doğruluğunu ve tutarlılığını iyileştirmek için resimleri veya metni sınıflandıran bir model oluştururken muhtemelen sıcaklığı düşürürsünüz.
Sıcaklık genellikle softmax ile kullanılır.
Z
sıfır çekim istem
Büyük dil modelinin nasıl yanıt vermesini istediğinize dair örnek sağlamayan bir istem. Örneğin:
| Tek bir istemin bölümleri | Notlar |
|---|---|
| Belirtilen ülkenin resmi para birimi nedir? | LLM'nin cevaplamasını istediğiniz soru. |
| Hindistan: | Gerçek sorgu. |
Büyük dil modeli, aşağıdakilerden herhangi biriyle yanıt verebilir:
- Rupi
- INR
- ₹
- Hint rupisi
- Rupi
- Hindistan rupisi
Tüm yanıtlar doğru olsa da belirli bir biçimi tercih edebilirsiniz.
Sıfır çekimli istem özelliğini aşağıdaki terimlerle karşılaştırın: