Halaman ini berisi istilah glosarium AI Generatif. Untuk semua istilah glosarium, klik di sini.
J
model auto-regresif
model yang menyimpulkan prediksi berdasarkan prediksi sebelumnya sendiri. Misalnya, model bahasa auto-regresif memprediksi token berikutnya berdasarkan token yang diprediksi sebelumnya. Semua model bahasa besar berbasis Transformer bersifat auto-regresif.
Sebaliknya, model gambar berbasis GAN biasanya tidak regresi otomatis karena menghasilkan gambar dalam satu penerusan maju dan tidak secara iteratif dalam langkah-langkah berikutnya. Namun, model pembuatan gambar tertentu bersifat regresif otomatis karena model tersebut menghasilkan gambar secara bertahap.
C
perintah rantai pemikiran
Teknik rekayasa perintah yang mendorong model bahasa besar (LLM) untuk menjelaskan alasannya, langkah demi langkah. Misalnya, perhatikan petunjuk berikut, dengan memberikan perhatian khusus pada kalimat kedua:
Berapa banyak gaya g yang dialami pengemudi dalam mobil yang melaju dari kecepatan 0 hingga 60 mil per jam dalam 7 detik? Pada jawaban, tunjukkan semua penghitungan yang relevan.
Respons LLM mungkin akan:
- Menampilkan urutan formula fisika, dengan memasukkan nilai 0, 60, dan 7 di tempat yang sesuai.
- Menjelaskan mengapa ia memilih formula-formula tersebut dan apa arti berbagai variabel.
Alur pemikiran yang mendorong LLM untuk melakukan semua penghitungan, yang dapat menghasilkan jawaban yang lebih benar. Selain itu, permintaan rantai pemikiran memungkinkan pengguna memeriksa langkah-langkah LLM untuk menentukan apakah jawaban tersebut masuk akal atau tidak.
D
prompting langsung
Sinonim untuk perintah zero-shot.
distilasi
Proses mengurangi ukuran satu model (dikenal sebagai pengajar) ke model yang lebih kecil (dikenal sebagai siswa) yang mengemulasi prediksi model asli dengan cara yang paling sesuai. Penyaringan berguna karena model yang lebih kecil memiliki dua manfaat utama dibandingkan model yang lebih besar (pengajar):
- Waktu inferensi lebih cepat
- Mengurangi penggunaan memori dan energi
Namun, prediksi siswa biasanya tidak sebagus prediksi pengajar.
Distilasi melatih model siswa untuk meminimalkan fungsi kerugian berdasarkan perbedaan antara output prediksi model siswa dan pengajar.
Bandingkan dan kontraskan distilasi dengan istilah berikut:
F
{i>multiple-shot prompting<i}
Perintah yang berisi lebih dari satu contoh (sebuah contoh "beberapa") yang menunjukkan cara model bahasa besar merespons. Misalnya, perintah panjang berikut berisi dua contoh yang menunjukkan model bahasa besar cara menjawab kueri.
| Bagian dari satu dialog | Notes |
|---|---|
| Apa mata uang resmi negara yang ditentukan? | Pertanyaan yang Anda inginkan agar dijawab oleh LLM. |
| Prancis: EUR | Satu contoh. |
| Inggris Raya: GBP | Contoh lain. |
| India: | Kueri sebenarnya. |
Prompt sedikit-shot umumnya memberikan hasil yang lebih diinginkan daripada perintah zero-shot dan perintah satu kali. Namun, prompt multiple-shot memerlukan perintah yang lebih panjang.
Prompt few-shot adalah bentuk pembelajaran beberapa kali yang diterapkan pada pembelajaran berbasis prompt.
penyesuaian
Tiket pelatihan khusus tugas kedua yang dilakukan pada model terlatih untuk mengoptimalkan parameternya untuk kasus penggunaan tertentu. Misalnya, urutan pelatihan lengkap untuk beberapa model bahasa besar adalah sebagai berikut:
- Pra-pelatihan: Latih model bahasa besar pada set data umum yang luas, seperti semua halaman Wikipedia berbahasa Inggris.
- Penyesuaian: Latih model terlatih untuk melakukan tugas tertentu, seperti merespons kueri medis. Fine-tuning biasanya melibatkan ratusan atau ribuan contoh yang berfokus pada tugas tertentu.
Sebagai contoh lainnya, urutan pelatihan lengkap untuk model gambar besar adalah sebagai berikut:
- Pra-pelatihan: Latih model gambar besar pada set data gambar umum yang luas, seperti semua gambar di Wikimedia commons.
- Penyelarasan: Latih model yang telah dilatih sebelumnya untuk melakukan tugas tertentu, seperti membuat gambar orca.
Penyesuaian dapat memerlukan kombinasi dari strategi berikut:
- Mengubah semua parameter model terlatih yang ada. Hal ini terkadang disebut fine-tuning penuh.
- Hanya memodifikasi beberapa parameter model terlatih yang ada (biasanya, lapisan yang paling dekat dengan lapisan output), sekaligus mempertahankan parameter lain yang ada tanpa perubahan (biasanya, lapisan yang paling dekat dengan lapisan input). Lihat penyesuaian parameter efisien.
- Menambahkan lebih banyak lapisan, biasanya di atas lapisan yang ada yang paling dekat dengan lapisan output.
Fine-tuning merupakan bentuk pembelajaran transfer. Dengan demikian, fine-tuning mungkin menggunakan fungsi kerugian atau jenis model yang berbeda dari yang digunakan untuk melatih model terlatih. Misalnya, Anda dapat menyesuaikan model gambar besar yang telah dilatih sebelumnya untuk menghasilkan model regresi yang menampilkan jumlah burung dalam gambar input.
Bandingkan dan bandingkan fine-tuning dengan istilah berikut:
G
AI generatif
Bidang transformatif yang sedang berkembang tanpa definisi formal. Meskipun demikian, sebagian besar pakar setuju bahwa model AI generatif dapat membuat ("menghasilkan") konten yang meliputi semua hal berikut:
- kompleks
- koheren
- asli
Misalnya, model AI generatif dapat membuat esai atau gambar yang canggih.
Beberapa teknologi sebelumnya, termasuk LSTM dan RNN, juga dapat menghasilkan konten yang asli dan koheren. Beberapa pakar memandang teknologi awal ini sebagai AI generatif, sementara pakar lain merasa bahwa AI generatif sejati memerlukan output yang lebih kompleks daripada yang dapat dihasilkan oleh teknologi sebelumnya.
Berbeda dengan ML prediktif.
I
pembelajaran dalam konteks
Sinonim dari few-shot prompting.
penyesuaian petunjuk
Bentuk penyesuaian yang meningkatkan kemampuan model AI generatif untuk mengikuti petunjuknya. Penyesuaian instruksi melibatkan pelatihan model pada serangkaian perintah petunjuk, yang biasanya mencakup berbagai tugas. Model yang disesuaikan dengan petunjuk yang dihasilkan kemudian cenderung menghasilkan respons yang berguna untuk perintah zero-shot di berbagai tugas.
Bandingkan dan kontraskan dengan:
O
arahan satu kali
Perintah yang berisi satu contoh yang menunjukkan cara model bahasa besar merespons. Misalnya, perintah berikut berisi satu contoh yang menunjukkan model bahasa besar cara seharusnya menjawab kueri.
| Bagian dari satu dialog | Notes |
|---|---|
| Apa mata uang resmi negara yang ditentukan? | Pertanyaan yang Anda inginkan agar dijawab oleh LLM. |
| Prancis: EUR | Satu contoh. |
| India: | Kueri sebenarnya. |
Bandingkan dan bandingkan perintah satu kali dengan istilah berikut:
P
penyesuaian parameter-efisien
Serangkaian teknik untuk menyesuaikan model bahasa terlatih (PLM) besar dengan lebih efisien daripada penyesuaian penuh. Penyesuaian parameter yang efisien biasanya melakukan fine-tuning parameter yang jauh lebih sedikit daripada fine-tuning penuh, namun umumnya menghasilkan model bahasa besar yang berperforma baik (atau hampir sama) model bahasa besar yang dibuat dari penyesuaian penuh.
Membandingkan dan membedakan tuning parameter-efisien dengan:
Penyesuaian parameter-efisien juga dikenal sebagai halus parameter yang efisien.
PLM
Singkatan dari model bahasa terlatih.
model terlatih
Model atau komponen model (seperti vektor penyematan) yang telah dilatih. Terkadang, Anda harus memasukkan vektor penyematan yang telah dilatih ke dalam jaringan neural. Di lain waktu, model Anda akan melatih vektor embedding itu sendiri, bukan mengandalkan embedding terlatih.
Istilah model bahasa terlatih mengacu pada model bahasa besar yang telah melalui pra-pelatihan.
pra-pelatihan
Pelatihan awal model pada set data besar. Beberapa model terlatih adalah raksasa yang kikuk dan biasanya harus ditingkatkan melalui pelatihan tambahan. Misalnya, pakar ML dapat melatih model bahasa besar terlebih dahulu pada set data teks yang luas, seperti semua halaman bahasa Inggris di Wikipedia. Setelah pra-pelatihan, model yang dihasilkan dapat disempurnakan lebih lanjut melalui salah satu teknik berikut:
prompt
Setiap teks yang dimasukkan sebagai input ke model bahasa besar untuk mengondisikan model agar berperilaku dengan cara tertentu. Perintah dapat sesingkat frasa atau panjangnya secara arbitrer (misalnya, seluruh teks novel). {i>Prompt<i} dibagi ke dalam beberapa kategori, termasuk yang ditunjukkan dalam tabel berikut:
| Kategori perintah | Contoh | Notes |
|---|---|---|
| Question | Seberapa cepat burung dara dapat terbang? | |
| Petunjuk | Tulis puisi lucu tentang arbitrase. | Perintah yang meminta model bahasa besar untuk melakukan sesuatu. |
| Contoh | Terjemahkan kode Markdown ke HTML. Misalnya:
Markdown: * item daftar HTML: <ul> <li>item daftar</li> </ul> |
Kalimat pertama dalam contoh {i>prompt<i} ini merupakan petunjuk. Bagian selanjutnya dari {i>prompt<i} adalah contoh. |
| Peran | Jelaskan mengapa penurunan gradien digunakan dalam pelatihan machine learning untuk gelar PhD bidang Fisika. | Bagian pertama kalimat adalah instruksi; frasa "untuk mendapatkan gelar PhD bidang Fisika" adalah bagian peran. |
| Input parsial untuk diselesaikan model | Perdana Menteri Inggris Raya tinggal di | Permintaan input parsial dapat diakhiri secara tiba-tiba (seperti dalam contoh ini) atau diakhiri dengan garis bawah. |
Model AI generatif dapat merespons perintah dengan teks, kode, gambar, sematan, video...hampir semua hal.
pembelajaran berbasis prompt
Kemampuan model tertentu yang memungkinkannya menyesuaikan perilakunya sebagai respons terhadap input teks arbitrer (perintah). Dalam paradigma pembelajaran berbasis perintah yang umum, model bahasa besar merespons perintah dengan membuat teks. Misalnya, pengguna memasukkan perintah berikut:
Rangkum Hukum Ketiga Newton tentang Gerakan.
Model yang mampu melakukan pembelajaran berbasis perintah tidak dilatih secara khusus untuk menjawab perintah sebelumnya. Sebaliknya, model "mengetahui" banyak fakta tentang fisika, pengetahuan tentang aturan bahasa umum, dan hal yang menentukan jawaban yang secara umum berguna. Pengetahuan tersebut sudah cukup untuk memberikan jawaban (semoga) berguna. Masukan manual tambahan ("Jawaban itu terlalu rumit". atau "Apa itu reaksi?") memungkinkan beberapa sistem pembelajaran berbasis permintaan untuk secara bertahap meningkatkan kegunaan jawaban mereka.
desain prompt
Sinonim dari rekayasa permintaan.
Prompt Engineering
Seni membuat perintah yang memperoleh respons yang diinginkan dari model bahasa besar. Manusia melakukan {i>prompt engineering<i}. Menulis dialog yang terstruktur dengan baik merupakan bagian penting dalam memastikan respons yang berguna dari model bahasa besar. Prompt Engineering bergantung pada banyak faktor, termasuk:
- Set data digunakan untuk melakukan pra-pelatihan dan mungkin menyesuaikan model bahasa besar.
- Suhu dan parameter decoding lainnya yang digunakan model untuk menghasilkan respons.
Lihat Pengantar desain perintah untuk mengetahui detail selengkapnya tentang cara menulis perintah yang berguna.
Desain prompt adalah sinonim dari Prompt Engineering.
penyesuaian perintah
Mekanisme penyesuaian parameter yang mempelajari "awalan" yang ditambahkan oleh sistem ke perintah sebenarnya.
Salah satu variasi prompt tuning—terkadang disebut tuning awalan—adalah menambahkan awalan di setiap lapisan. Sebaliknya, sebagian besar prompt tuning hanya menambahkan awalan ke lapisan input.
R
Pembelajaran Penguatan dari Masukan Manusia (RLHF)
Menggunakan masukan dari pelabel manual untuk meningkatkan kualitas respons model. Misalnya, mekanisme RLHF dapat meminta pengguna untuk menilai kualitas respons model dengan emoji 👍 atau 🏏. Sistem kemudian dapat menyesuaikan respons di masa depannya berdasarkan umpan balik tersebut.
pemberian perintah
Bagian opsional dari perintah yang mengidentifikasi target audiens untuk respons model AI generatif. Tanpa dialog peran, model bahasa besar memberikan jawaban yang mungkin berguna atau tidak berguna bagi orang yang mengajukan pertanyaan. Dengan dialog peran, model bahasa besar dapat menjawab dengan cara yang lebih sesuai dan lebih bermanfaat untuk target audiens tertentu. Misalnya, bagian perintah peran dari permintaan berikut dicetak tebal:
- Rangkum artikel ini untuk mendapatkan gelar PhD di bidang ekonomi.
- Menjelaskan cara kerja pasang surut untuk anak berusia sepuluh tahun.
- Jelaskan krisis keuangan tahun 2008. Bicaralah seperti yang Anda lakukan kepada anak kecil, atau angpau.
T
suhu
Hyperparameter yang mengontrol tingkat keacakan output model. Suhu yang lebih tinggi menghasilkan output yang lebih acak, sedangkan suhu yang lebih rendah menghasilkan output yang lebih sedikit.
Memilih suhu terbaik bergantung pada aplikasi tertentu dan properti yang diinginkan dari output model. Misalnya, Anda mungkin akan meningkatkan suhu saat membuat aplikasi yang menghasilkan output materi iklan. Sebaliknya, Anda mungkin akan menurunkan suhu saat membangun model yang mengklasifikasikan gambar atau teks untuk meningkatkan akurasi dan konsistensi model.
Suhu sering digunakan dengan softmax.
Z
prompt zero-shot
Perintah yang tidak memberikan contoh cara Anda ingin model bahasa besar merespons. Contoh:
| Bagian dari satu dialog | Notes |
|---|---|
| Apa mata uang resmi negara yang ditentukan? | Pertanyaan yang Anda inginkan agar dijawab oleh LLM. |
| India: | Kueri sebenarnya. |
Model bahasa besar dapat merespons dengan salah satu dari hal berikut:
- Rupee
- INR
- ₹
- Rupee India
- Rupee
- Rupee India
Semua jawaban benar, meskipun Anda mungkin lebih suka format tertentu.
Bandingkan dan bandingkan perintah zero-shot dengan istilah berikut: