Glosarium Machine Learning: AI Generatif

Halaman ini berisi istilah glosarium AI Generatif. Untuk semua istilah glosarium, klik di sini.

A

evaluasi otomatis

#language
#generativeAI

Menggunakan software untuk menilai kualitas output model.

Jika output model relatif sederhana, skrip atau program dapat membandingkan output model dengan respons emas. Jenis evaluasi otomatis ini terkadang disebut evaluasi terprogram. Metrik seperti ROUGE atau BLEU sering kali berguna untuk evaluasi terprogram.

Jika output model kompleks atau tidak memiliki satu jawaban yang benar, program ML terpisah yang disebut autorater terkadang melakukan evaluasi otomatis.

Berbeda dengan evaluasi manual.

evaluasi autorater

#language
#generativeAI
Mekanisme campuran untuk menilai kualitas output model AI generatif yang menggabungkan evaluasi manual dengan evaluasi otomatis. Autorater adalah model ML yang dilatih pada data yang dibuat oleh evaluasi manusia. Idealnya, pembuat otomatis akan belajar meniru evaluator manusia.

Autorator bawaan tersedia, tetapi autorator terbaik dioptimalkan secara khusus untuk tugas yang Anda evaluasi.

model autoregresif

#language
#image
#generativeAI

Model yang menyimpulkan prediksi berdasarkan prediksi sebelumnya. Misalnya, model bahasa autoregresif memprediksi token berikutnya berdasarkan token yang diprediksi sebelumnya. Semua model bahasa besar berbasis Transformer bersifat autoregresif.

Sebaliknya, model gambar berbasis GAN biasanya tidak bersifat autoregresif karena menghasilkan gambar dalam satu penerusan maju dan tidak secara iteratif dalam langkah-langkah. Namun, model pembuatan gambar tertentu adalah autoregresif karena membuat gambar secara bertahap.

C

prompting chain-of-thought

#language
#generativeAI

Teknik prompt engineering yang mendorong model bahasa besar (LLM) untuk menjelaskan pemikirannya, langkah demi langkah. Misalnya, pertimbangkan perintah berikut, dengan memperhatikan kalimat kedua secara khusus:

Berapa gaya g yang akan dialami pengemudi dalam mobil yang melaju dari 0 hingga 60 mil per jam dalam 7 detik? Dalam jawaban, tampilkan semua penghitungan yang relevan.

Respons LLM kemungkinan akan:

  • Tampilkan urutan formula fisika, dengan memasukkan nilai 0, 60, dan 7 di tempat yang sesuai.
  • Jelaskan alasan formula tersebut dipilih dan arti berbagai variabel.

Perintah chain-of-thought memaksa LLM untuk melakukan semua penghitungan, yang mungkin menghasilkan jawaban yang lebih benar. Selain itu, perintah chain-of-thought memungkinkan pengguna memeriksa langkah-langkah LLM untuk menentukan apakah jawaban tersebut masuk akal atau tidak.

chat

#language
#generativeAI

Konten dialog dua arah dengan sistem ML, biasanya model bahasa besar. Interaksi sebelumnya dalam chat (apa yang Anda ketik dan bagaimana model bahasa besar merespons) menjadi konteks untuk bagian chat berikutnya.

Chatbot adalah aplikasi model bahasa besar.

penyematan bahasa yang dikontekstualisasikan

#language
#generativeAI

Embedding yang mendekati "pemahaman" kata dan frasa dengan cara yang dapat dilakukan penutur asli manusia. Penyematan bahasa kontekstual dapat memahami sintaksis, semantik, dan konteks yang kompleks.

Misalnya, pertimbangkan penyematan kata bahasa Inggris cow. Penyematan lama seperti word2vec dapat merepresentasikan kata-kata bahasa Inggris sehingga jarak dalam ruang penyematan dari cow ke bull mirip dengan jarak dari ewe (domba betina) ke ram (domba jantan) atau dari female ke male. Penyematan bahasa yang dikontekstualisasikan dapat melangkah lebih jauh dengan mengenali bahwa penutur bahasa Inggris terkadang menggunakan kata cow secara santai untuk merujuk pada sapi atau banteng.

jendela konteks

#language
#generativeAI

Jumlah token yang dapat diproses model dalam perintah tertentu. Makin besar jendela konteks, makin banyak informasi yang dapat digunakan model untuk memberikan respons yang koheren dan konsisten kepada perintah.

D

perintah langsung

#language
#generativeAI

Sinonim dari zero-shot prompting.

distilasi

#generativeAI

Proses mengurangi ukuran satu model (dikenal sebagai pengajar) menjadi model yang lebih kecil (dikenal sebagai siswa) yang mengemulasi prediksi model asli seakurat mungkin. Distilasi berguna karena model yang lebih kecil memiliki dua manfaat utama dibandingkan model yang lebih besar (pengajar):

  • Waktu inferensi yang lebih cepat
  • Mengurangi penggunaan memori dan energi

Namun, prediksi siswa biasanya tidak sebagus prediksi pengajar.

Distilasi melatih model siswa untuk meminimalkan fungsi loss berdasarkan perbedaan antara output prediksi model siswa dan pengajar.

Bandingkan dan bedakan distilasi dengan istilah berikut:

Lihat LLM: Penyesuaian, distilasi, dan rekayasa prompt di Kursus Singkat Machine Learning untuk mengetahui informasi selengkapnya.

E

evals

#language
#generativeAI

Utamanya digunakan sebagai singkatan untuk evaluasi LLM. Secara lebih luas, evals adalah singkatan dari bentuk evaluasi apa pun.

evaluasi

#language
#generativeAI

Proses mengukur kualitas model atau membandingkan berbagai model satu sama lain.

Untuk mengevaluasi model machine learning dengan pengawasan, Anda biasanya menilainya berdasarkan set validasi dan set pengujian. Mengevaluasi LLM biasanya melibatkan penilaian kualitas dan keamanan yang lebih luas.

F

faktualitas

#generativeAI

Dalam dunia ML, properti yang menjelaskan model yang output-nya didasarkan pada kenyataan. Faktualitas adalah konsep, bukan metrik. Misalnya, Anda mengirim perintah berikut ke model bahasa besar:

Apa rumus kimia untuk garam dapur?

Model yang mengoptimalkan faktualitas akan merespons:

NaCl

Kita mungkin tergoda untuk mengasumsikan bahwa semua model harus didasarkan pada fakta. Namun, beberapa perintah, seperti berikut, akan menyebabkan model AI generatif mengoptimalkan kreativitas, bukan fakta.

Ceritakan limerick tentang astronot dan ulat.

Limerick yang dihasilkan kemungkinan tidak akan didasarkan pada kenyataan.

Berbeda dengan groundedness.

perintah few-shot

#language
#generativeAI

Perintah yang berisi lebih dari satu ("beberapa") contoh yang menunjukkan bagaimana model bahasa besar harus merespons. Misalnya, perintah panjang berikut berisi dua contoh yang menunjukkan cara model bahasa besar menjawab kueri.

Bagian dari satu perintah Catatan
Apa mata uang resmi negara yang ditentukan? Pertanyaan yang ingin Anda jawab dengan LLM.
Prancis: EUR Satu contoh.
Inggris Raya: GBP Contoh lainnya.
India: Kueri yang sebenarnya.

Perintah few-shot umumnya menghasilkan hasil yang lebih diinginkan daripada perintah zero-shot dan perintah one-shot. Namun, perintah few-shot memerlukan perintah yang lebih panjang.

Perintah few-shot adalah bentuk pemelajaran beberapa tahap yang diterapkan pada pembelajaran berbasis perintah.

Lihat Rekayasa perintah di Kursus Singkat Machine Learning untuk mengetahui informasi selengkapnya.

penyesuaian

#language
#image
#generativeAI

Lulusan pelatihan kedua khusus tugas yang dilakukan pada model terlatih untuk meningkatkan parameternya untuk kasus penggunaan tertentu. Misalnya, urutan pelatihan lengkap untuk beberapa model bahasa besar adalah sebagai berikut:

  1. Prapelatihan: Melatih model bahasa besar pada set data umum yang luas, seperti semua halaman Wikipedia bahasa Inggris.
  2. Penyesuaian: Melatih model terlatih untuk melakukan tugas tertentu, seperti merespons kueri medis. Penyesuaian biasanya melibatkan ratusan atau ribuan contoh yang berfokus pada tugas tertentu.

Sebagai contoh lain, urutan pelatihan lengkap untuk model gambar besar adalah sebagai berikut:

  1. Prapelatihan: Melatih model gambar besar pada set data gambar umum yang luas, seperti semua gambar di Wikimedia commons.
  2. Penyesuaian: Melatih model terlatih untuk melakukan tugas tertentu, seperti membuat gambar paus orca.

Penyesuaian dapat mencakup kombinasi strategi berikut:

  • Mengubah semua parameter yang ada pada model terlatih. Hal ini terkadang disebut penyesuaian penuh.
  • Hanya mengubah beberapa parameter yang ada dari model terlatih (biasanya, lapisan yang paling dekat dengan lapisan output), sambil mempertahankan parameter lain yang ada agar tidak berubah (biasanya, lapisan yang paling dekat dengan lapisan input). Lihat parameter-efficient tuning.
  • Menambahkan lebih banyak lapisan, biasanya di atas lapisan yang ada dan paling dekat dengan lapisan output.

Penyesuaian adalah bentuk pemelajaran transfer. Dengan demikian, penyesuaian mungkin menggunakan fungsi loss yang berbeda atau jenis model yang berbeda dari yang digunakan untuk melatih model terlatih. Misalnya, Anda dapat menyetel model gambar besar terlatih untuk menghasilkan model regresi yang menampilkan jumlah burung dalam gambar input.

Bandingkan dan bedakan penyesuaian halus dengan istilah berikut:

Lihat Penyesuaian di Kursus Singkat Machine Learning untuk mengetahui informasi selengkapnya.

fraksi keberhasilan

#generativeAI

Metrik untuk mengevaluasi teks yang dihasilkan model ML. Bagian keberhasilan adalah jumlah output teks yang dihasilkan "berhasil" dibagi dengan jumlah total output teks yang dihasilkan. Misalnya, jika model bahasa besar menghasilkan 10 blok kode, lima di antaranya berhasil, maka fraksi keberhasilan akan menjadi 50%.

Meskipun fraksi keberhasilan secara luas berguna di seluruh statistik, dalam ML, metrik ini terutama berguna untuk mengukur tugas yang dapat diverifikasi seperti pembuatan kode atau masalah matematika.

G

Gemini

#language
#image
#generativeAI

Ekosistem yang terdiri dari AI tercanggih Google. Elemen ekosistem ini meliputi:

  • Berbagai model Gemini.
  • Antarmuka percakapan interaktif ke model Gemini. Pengguna mengetik perintah dan Gemini merespons perintah tersebut.
  • Berbagai Gemini API.
  • Berbagai produk bisnis berdasarkan model Gemini; misalnya, Gemini untuk Google Cloud.

Model Gemini

#language
#image
#generativeAI

Model multimodal berbasis Transformer mutakhir dari Google. Model Gemini dirancang khusus untuk berintegrasi dengan agen.

Pengguna dapat berinteraksi dengan model Gemini dengan berbagai cara, termasuk melalui antarmuka dialog interaktif dan melalui SDK.

teks yang dihasilkan

#language
#generativeAI

Secara umum, teks yang dihasilkan model ML. Saat mengevaluasi model bahasa besar, beberapa metrik membandingkan teks yang dihasilkan dengan teks referensi. Misalnya, Anda mencoba menentukan seberapa efektif model ML menerjemahkan dari bahasa Prancis ke bahasa Belanda. Dalam hal ini:

  • Teks yang dihasilkan adalah terjemahan Belanda yang dihasilkan model ML.
  • Teks referensi adalah terjemahan Belanda yang dibuat oleh penerjemah manusia (atau software).

Perhatikan bahwa beberapa strategi evaluasi tidak melibatkan teks referensi.

AI generatif

#language
#image
#generativeAI

Bidang transformatif yang baru muncul tanpa definisi formal. Meskipun demikian, sebagian besar pakar setuju bahwa model AI generatif dapat membuat ("menghasilkan") konten yang merupakan semua hal berikut:

  • kompleks
  • koheren
  • asli

Misalnya, model AI generatif dapat membuat esai atau gambar yang canggih.

Beberapa teknologi sebelumnya, termasuk LSTM dan RNN, juga dapat menghasilkan konten yang orisinal dan koheren. Beberapa pakar memandang teknologi sebelumnya ini sebagai AI generatif, sementara yang lain merasa bahwa AI generatif sejati memerlukan output yang lebih kompleks daripada yang dapat dihasilkan teknologi sebelumnya.

Berbeda dengan ML prediktif.

respons emas

#language
#generativeAI

Jawaban yang diketahui bagus. Misalnya, dengan perintah berikut:

2 + 2

Respons yang diharapkan adalah:

4

H

evaluasi manusia

#language
#generativeAI

Proses saat orang menilai kualitas output model ML; misalnya, meminta orang bilingual menilai kualitas model terjemahan ML. Evaluasi manusia sangat berguna untuk menilai model yang tidak memiliki satu jawaban yang benar.

Berbeda dengan evaluasi otomatis dan evaluasi penilai otomatis.

memerlukan interaksi manusia (HITL)

#generativeAI

Idiom yang ditentukan secara longgar yang dapat berarti salah satu dari hal berikut:

  • Kebijakan untuk melihat output AI Generatif secara kritis atau skeptis. Misalnya, manusia yang menulis Glosarium ML ini kagum dengan apa yang dapat dilakukan model bahasa besar, tetapi memperhitungkan kesalahan yang dilakukan model bahasa besar.
  • Strategi atau sistem untuk memastikan bahwa orang membantu membentuk, mengevaluasi, dan meningkatkan kualitas perilaku model. Dengan melibatkan manusia, AI dapat memanfaatkan kecerdasan mesin dan kecerdasan manusia. Misalnya, sistem yang menggunakan AI untuk membuat kode yang kemudian ditinjau oleh engineer software adalah sistem human-in-the-loop.

I

pembelajaran dalam konteks

#language
#generativeAI

Sinonim dari perintah few-shot.

penyesuaian instruksi

#generativeAI

Bentuk penyesuaian yang meningkatkan kemampuan model AI generatif untuk mengikuti petunjuk. Penyesuaian petunjuk melibatkan pelatihan model pada serangkaian perintah petunjuk, biasanya mencakup berbagai tugas. Model yang disesuaikan dengan petunjuk yang dihasilkan kemudian cenderung menghasilkan respons yang berguna untuk perintah zero-shot di berbagai tugas.

Bandingkan dan bedakan dengan:

L

LLM

#language
#generativeAI

Singkatan dari large language model.

Evaluasi LLM (eval)

#language
#generativeAI

Serangkaian metrik dan tolok ukur untuk menilai performa model bahasa besar (LLM). Pada tingkat yang tinggi, evaluasi LLM:

  • Membantu peneliti mengidentifikasi area yang perlu ditingkatkan pada LLM.
  • Berguna dalam membandingkan berbagai LLM dan mengidentifikasi LLM terbaik untuk tugas tertentu.
  • Membantu memastikan bahwa LLM aman dan etis untuk digunakan.

LoRA

#language
#generativeAI

Singkatan dari Low-Rank Adaptability.

Low-Rank Adaptability (LoRA)

#language
#generativeAI

Teknik parameter-efficient untuk penyesuaian halus yang "membekukan" bobot yang telah dilatih sebelumnya pada model (sehingga tidak dapat lagi diubah), lalu menyisipkan sekumpulan kecil bobot yang dapat dilatih ke dalam model. Kumpulan bobot yang dapat dilatih ini (juga dikenal sebagai "matriks pembaruan") jauh lebih kecil daripada model dasar sehingga jauh lebih cepat untuk dilatih.

LoRA memberikan manfaat berikut:

  • Meningkatkan kualitas prediksi model untuk domain tempat penyesuaian lanjut diterapkan.
  • Melakukan penyesuaian lebih cepat daripada teknik yang memerlukan penyesuaian semua parameter model.
  • Mengurangi biaya komputasi inferensi dengan mengaktifkan penayangan serentak beberapa model khusus yang berbagi model dasar yang sama.

M

terjemahan mesin

#generativeAI

Menggunakan software (biasanya, model machine learning) untuk mengonversi teks dari satu bahasa manusia ke bahasa manusia lainnya, misalnya, dari bahasa Inggris ke bahasa Jepang.

presisi rata-rata pada k (mAP@k)

#language
#generativeAI

Rata-rata statistik dari semua skor presisi rata-rata pada k di seluruh set data validasi. Salah satu penggunaan presisi rata-rata mean pada k adalah untuk menilai kualitas rekomendasi yang dihasilkan oleh sistem rekomendasi.

Meskipun frasa "rata-rata mean" terdengar berlebihan, nama metrik ini sudah tepat. Bagaimanapun, metrik ini menemukan nilai tengah beberapa nilai presisi rata-rata pada k.

campuran pakar

#language
#generativeAI

Skema untuk meningkatkan efisiensi jaringan saraf dengan hanya menggunakan sebagian parameternya (dikenal sebagai ahli) untuk memproses token atau contoh input tertentu. Jaringan gating merutekan setiap token atau contoh input ke pakar yang sesuai.

Untuk mengetahui detailnya, lihat salah satu makalah berikut:

MMIT

#language
#image
#generativeAI

Singkatan dari multimodal instruction-tuned.

cascading model

#generativeAI

Sistem yang memilih model ideal untuk kueri inferensi tertentu.

Bayangkan sekelompok model, mulai dari yang sangat besar (banyak parameter) hingga yang jauh lebih kecil (parameter jauh lebih sedikit). Model yang sangat besar menggunakan lebih banyak resource komputasi pada waktu inferensi daripada model yang lebih kecil. Namun, model yang sangat besar biasanya dapat menyimpulkan permintaan yang lebih kompleks daripada model yang lebih kecil. Cascading model menentukan kompleksitas kueri inferensi, lalu memilih model yang sesuai untuk melakukan inferensi. Motivasi utama untuk cascading model adalah untuk mengurangi biaya inferensi dengan umumnya memilih model yang lebih kecil, dan hanya memilih model yang lebih besar untuk kueri yang lebih kompleks.

Bayangkan model kecil berjalan di ponsel dan versi yang lebih besar dari model tersebut berjalan di server jarak jauh. Cascading model yang baik akan mengurangi biaya dan latensi dengan memungkinkan model yang lebih kecil menangani permintaan sederhana dan hanya memanggil model jarak jauh untuk menangani permintaan yang kompleks.

Lihat juga router model.

router model

#generativeAI

Algoritma yang menentukan model ideal untuk inferensi dalam cascade model. Router model itu sendiri biasanya merupakan model machine learning yang secara bertahap mempelajari cara memilih model terbaik untuk input tertentu. Namun, router model terkadang dapat berupa algoritma non-machine learning yang lebih sederhana.

MOE

#language
#image
#generativeAI

Singkatan dari mixture of experts.

MT

#generativeAI

Singkatan dari machine translation.

T

no one right answer (NORA)

#language
#generativeAI

Perintah yang memiliki beberapa respons yang sesuai. Misalnya, perintah berikut tidak memiliki satu jawaban yang benar:

Ceritakan lelucon tentang gajah.

Mengevaluasi perintah yang tidak memiliki jawaban yang benar bisa jadi sulit.

NORA

#language
#generativeAI

Singkatan dari tidak ada jawaban yang benar.

O

one-shot prompting

#language
#generativeAI

Perintah yang berisi satu contoh yang menunjukkan cara model bahasa besar harus merespons. Misalnya, perintah berikut berisi satu contoh yang menunjukkan model bahasa besar cara menjawab kueri.

Bagian dari satu perintah Catatan
Apa mata uang resmi negara yang ditentukan? Pertanyaan yang ingin Anda jawab dengan LLM.
Prancis: EUR Satu contoh.
India: Kueri yang sebenarnya.

Bandingkan dan bedakan perintah satu kali dengan istilah berikut:

P

parameter-efficient tuning

#language
#generativeAI

Serangkaian teknik untuk melakukan penyesuaian halus model bahasa terlatih (PLM) yang besar secara lebih efisien daripada penyesuaian halus penuh. Penyesuaian yang hemat parameter biasanya menyesuaikan jauh lebih sedikit parameter daripada penyesuaian lengkap, tetapi umumnya menghasilkan model bahasa besar yang berperforma setara (atau hampir sama) dengan model bahasa besar yang dibuat dari penyesuaian lengkap.

Membandingkan dan membedakan parameter-efficient tuning dengan:

Parameter-efficient tuning juga dikenal sebagai parameter-efficient fine-tuning.

PLM

#language
#generativeAI

Singkatan dari model bahasa terlatih.

model pasca-pelatihan

#language
#image
#generativeAI

Istilah yang didefinisikan secara longgar yang biasanya mengacu pada model terlatih yang telah melalui beberapa pemrosesan pasca, seperti satu atau beberapa hal berikut:

model terlatih

#language
#image
#generativeAI

Biasanya, model yang telah dilatih. Istilah ini juga dapat berarti vektor penyematan yang telah dilatih sebelumnya.

Istilah model bahasa terlatih biasanya mengacu pada model bahasa besar yang telah dilatih.

pra-pelatihan

#language
#image
#generativeAI

Pelatihan awal model pada set data besar. Beberapa model terlatih adalah model besar yang canggung dan biasanya harus ditingkatkan melalui pelatihan tambahan. Misalnya, pakar ML mungkin melakukan pra-pelatihan model bahasa besar pada set data teks yang luas, seperti semua halaman bahasa Inggris di Wikipedia. Setelah pra-pelatihan, model yang dihasilkan dapat lebih ditingkatkan lagi melalui salah satu teknik berikut:

perintah

#language
#generativeAI

Setiap teks yang dimasukkan sebagai input ke model bahasa besar untuk mengkondisikan model agar berperilaku dengan cara tertentu. Perintah dapat berupa frasa yang singkat atau panjang secara arbitrer (misalnya, seluruh teks novel). Perintah tercakup dalam beberapa kategori, termasuk yang ditampilkan dalam tabel berikut:

Kategori perintah Contoh Catatan
Pertanyaan Seberapa cepat merpati dapat terbang?
Petunjuk Tulis puisi lucu tentang arbitrase. Perintah yang meminta model bahasa besar untuk melakukan sesuatu.
Contoh Menerjemahkan kode Markdown ke HTML. Misalnya:
Markdown: * item daftar
HTML: <ul> <li>item daftar</li> </ul>		 Kalimat pertama dalam contoh perintah ini adalah petunjuk. Sisa perintah adalah contohnya.
Peran Jelaskan alasan penurunan gradien digunakan dalam pelatihan machine learning kepada seorang PhD dalam Fisika. Bagian pertama kalimat adalah petunjuk; frasa "ke PhD dalam Fisika" adalah bagian peran.
Input parsial untuk diselesaikan model Perdana Menteri Inggris Raya tinggal di Perintah input parsial dapat berakhir secara tiba-tiba (seperti contoh ini) atau diakhiri dengan garis bawah.

Model AI generatif dapat merespons perintah dengan teks, kode, gambar, embedding, video…hampir semuanya.

pembelajaran berbasis perintah

#language
#generativeAI

Kemampuan model tertentu yang memungkinkannya menyesuaikan perilakunya sebagai respons terhadap input teks arbitrer (perintah). Dalam paradigma pembelajaran berbasis perintah umum, model bahasa besar merespons perintah dengan menghasilkan teks. Misalnya, pengguna memasukkan perintah berikut:

Meringkas Hukum Ketiga Newton tentang Gerak.

Model yang mampu melakukan pembelajaran berbasis perintah tidak dilatih secara khusus untuk menjawab perintah sebelumnya. Sebaliknya, model "mengetahui" banyak fakta tentang fisika, banyak tentang aturan bahasa umum, dan banyak tentang apa yang membentuk jawaban yang umumnya berguna. Pengetahuan tersebut cukup untuk memberikan jawaban yang (semoga) berguna. Masukan tambahan dari manusia ("Jawaban itu terlalu rumit" atau "Apa reaksinya?") memungkinkan beberapa sistem pembelajaran berbasis perintah untuk secara bertahap meningkatkan kegunaan jawabannya.

desain perintah

#language
#generativeAI

Sinonim dari rekayasa perintah.

rekayasa perintah

#language
#generativeAI

Seni membuat perintah yang mendapatkan respons yang diinginkan dari model bahasa besar. Manusia melakukan prompt engineering. Menulis dialog yang terstruktur dengan baik adalah bagian penting untuk memastikan respons yang berguna dari model bahasa besar. Rekayasa perintah bergantung pada banyak faktor, termasuk:

  • Set data yang digunakan untuk prapelatihan dan mungkin penyesuaian model bahasa besar.
  • Suhu dan parameter decoding lainnya yang digunakan model untuk menghasilkan respons.

Lihat Pengantar desain perintah untuk mengetahui detail selengkapnya tentang cara menulis perintah yang bermanfaat.

Desain perintah adalah sinonim untuk rekayasa perintah.

penyesuaian perintah

#language
#generativeAI

Mekanisme parameter-efficient tuning yang mempelajari "awalan" yang ditambahkan sistem ke perintah yang sebenarnya.

Salah satu variasi penyesuaian perintah—terkadang disebut penyesuaian awalan—adalah menambahkan awalan di setiap lapisan. Sebaliknya, sebagian besar penyesuaian perintah hanya menambahkan awalan ke lapisan input.

R

teks referensi

#language
#generativeAI

Respons pakar terhadap perintah. Misalnya, dengan perintah berikut:

Terjemahkan pertanyaan "Siapa nama Anda?" dari bahasa Inggris ke bahasa Prancis.

Respons pakar mungkin:

Comment vous appelez-vous?

Berbagai metrik (seperti ROUGE) mengukur tingkat kecocokan teks referensi dengan teks yang dihasilkan model ML.

Reinforcement Learning from Human Feedback (RLHF)

#generativeAI
#rl

Menggunakan masukan dari penilai manusia untuk meningkatkan kualitas respons model. Misalnya, mekanisme RLHF dapat meminta pengguna untuk menilai kualitas respons model dengan emoji 👍 atau 👎. Sistem kemudian dapat menyesuaikan responsnya di masa mendatang berdasarkan masukan tersebut.

perintah peran

#language
#generativeAI

Bagian opsional dari perintah yang mengidentifikasi audiens target untuk respons model AI generatif. Tanpa perintah peran, model bahasa besar memberikan jawaban yang mungkin atau mungkin tidak berguna bagi orang yang mengajukan pertanyaan. Dengan perintah peran, model bahasa besar dapat menjawab dengan cara yang lebih sesuai dan lebih membantu untuk target audiens tertentu. Misalnya, bagian perintah peran dari perintah berikut dicetak tebal:

  • Ringkas artikel ini untuk gelar PhD dalam ekonomi.
  • Jelaskan cara kerja pasang surut untuk anak berusia sepuluh tahun.
  • Jelaskan krisis keuangan tahun 2008. Bicaralah seperti yang Anda lakukan kepada anak kecil, atau golden retriever.

S

penyesuaian perintah lunak

#language
#generativeAI

Teknik untuk menyesuaikan model bahasa besar untuk tugas tertentu, tanpa penyesuaian terperinci yang membutuhkan banyak resource. Daripada melatih ulang semua bobot dalam model, penyesuaian perintah lunak otomatis menyesuaikan perintah untuk mencapai sasaran yang sama.

Dengan perintah tekstual, penyesuaian perintah lunak biasanya menambahkan penyematan token tambahan ke perintah dan menggunakan backpropagation untuk mengoptimalkan input.

Perintah "hard" berisi token sebenarnya, bukan penyematan token.

S

suhu

#language
#image
#generativeAI

Hyperparameter yang mengontrol tingkat keacakan output model. Suhu yang lebih tinggi menghasilkan output yang lebih acak, sedangkan suhu yang lebih rendah menghasilkan output yang lebih acak.

Memilih suhu terbaik bergantung pada aplikasi tertentu dan properti yang diinginkan dari output model. Misalnya, Anda mungkin akan menaikkan suhu saat membuat aplikasi yang menghasilkan output materi iklan. Sebaliknya, Anda mungkin akan menurunkan suhu saat membuat model yang mengklasifikasikan gambar atau teks untuk meningkatkan akurasi dan konsistensi model.

Suhu sering digunakan dengan softmax.

Z

zero-shot prompting

#language
#generativeAI

Perintah yang tidak memberikan contoh bagaimana Anda ingin model bahasa besar merespons. Contoh:

Bagian dari satu perintah Catatan
Apa mata uang resmi negara yang ditentukan? Pertanyaan yang ingin Anda jawab dengan LLM.
India: Kueri yang sebenarnya.

Model bahasa besar mungkin merespons dengan salah satu dari hal berikut:

  • Rupee
  • INR
  • Rs
  • Rupee India
  • Rupee
  • Rupee India

Semua jawaban benar, meskipun Anda mungkin lebih menyukai format tertentu.

Bandingkan dan bedakan perintah zero-shot dengan istilah berikut: