อภิธานศัพท์ของแมชชีนเลิร์นนิง: Generative AI

หน้านี้มีคำศัพท์เกี่ยวกับอภิธานศัพท์ของ Generative AI หากต้องการดูคำศัพท์ในอภิธานศัพท์ทั้งหมด คลิกที่นี่

A

รูปแบบถดถอยอัตโนมัติ

#language
#image
#GenerativeAI

modelที่อนุมานการคาดการณ์จากการคาดคะเนก่อนหน้านี้ของตัวมันเอง ตัวอย่างเช่น โมเดลภาษาที่ถดถอยอัตโนมัติจะคาดการณ์โทเค็นถัดไปโดยอิงตามโทเค็นที่คาดการณ์ไว้ก่อนหน้านี้ โมเดลภาษาขนาดใหญ่ทั้งหมดที่อิงตาม Transformer จะถดถอยโดยอัตโนมัติ

ในทางตรงกันข้าม โมเดลรูปภาพแบบ GAN มักจะไม่ถดถอยอัตโนมัติเพราะสร้างรูปภาพผ่านการส่งต่อรายการเดียวและไม่เกิดซ้ำในขั้นตอน แต่โมเดลการสร้างรูปภาพบางโมเดลจะทำงานแบบถดถอยอัตโนมัติเนื่องจากสร้างรูปภาพในขั้นตอน

C

ข้อความแจ้งที่เป็นห่วงโซ่ความคิด

#language
#GenerativeAI

เทคนิค prompt Engineering ที่รองรับโมเดลภาษาขนาดใหญ่ (LLM) เพื่ออธิบายเหตุผลทีละขั้นตอน เช่น ลองพิจารณาข้อความต่อไปนี้โดย ใส่ใจเป็นพิเศษกับประโยคที่ 2

คนขับจะได้รับแรงผลักดันกี่แรงในรถยนต์จาก 0 เป็น 60 ไมล์ต่อชั่วโมงใน 7 วินาที แสดงการคำนวณที่เกี่ยวข้องทั้งหมดในคำตอบ

การตอบสนองของ LLM น่าจะเป็นดังนี้

  • แสดงลำดับสูตรฟิสิกส์ โดยการใส่ค่า 0, 60 และ 7 ในตำแหน่งที่เหมาะสม
  • อธิบายเหตุผลที่บริษัทเลือกสูตรเหล่านั้นและความหมายของตัวแปรต่างๆ

ห่วงโซ่แนวคิดจะบังคับให้ LLM คำนวณค่าทั้งหมด จึงอาจทำให้ได้คำตอบที่ถูกต้องมากขึ้น นอกจากนี้ ข้อความแจ้งเกี่ยวกับห่วงโซ่ความคิดช่วยให้ผู้ใช้ตรวจสอบขั้นตอนของ LLM เพื่อพิจารณาว่าคำตอบเหมาะสมหรือไม่

แชท

#language
#GenerativeAI

เนื้อหาของบทสนทนาโต้ตอบด้วยระบบ ML ซึ่งมักจะเป็นโมเดลภาษาขนาดใหญ่ การโต้ตอบก่อนหน้าในแชท (สิ่งที่คุณพิมพ์และโมเดลภาษาขนาดใหญ่ตอบสนอง) จะกลายเป็นบริบทสำหรับส่วนต่อๆ ไปของแชท

แชทบ็อตเป็นแอปพลิเคชันโมเดลภาษาขนาดใหญ่

การฝังภาษาที่ปรับตามบริบท

#language
#GenerativeAI

การฝังที่มีความคล้ายคลึงกับคำและวลีที่ "เข้าใจ" อย่างที่เจ้าของภาษาทำได้ การฝังภาษาที่ปรับตามบริบทสามารถเข้าใจไวยากรณ์ ความหมาย และบริบทที่ซับซ้อนได้

ตัวอย่างเช่น ลองฝังคำภาษาอังกฤษว่า cow การฝังตัวเก่า เช่น word2vec แสดงถึงคำภาษาอังกฤษที่ว่าระยะทางในพื้นที่การฝังจากวัวถึงบูลคล้ายกับระยะทางจากewe (แกะตัวเมีย) ถึงแกะ (แกะตัวผู้) หรือจากตัวเมียถึงตัวผู้ การฝังภาษาที่ปรับตามบริบทสามารถพัฒนาไปได้ไกลอีกขั้นเพราะรู้ว่าบางครั้งผู้พูดภาษาอังกฤษอาจใช้คำว่าวัวเพื่อหมายถึงวัวหรือวัวกระทิง

หน้าต่างบริบท

#language
#GenerativeAI

จำนวนโทเค็นที่โมเดลประมวลผลได้ในข้อความแจ้งที่ระบุ ยิ่งหน้าต่างบริบทมีขนาดใหญ่เท่าไร โมเดลก็จะยิ่งใช้ข้อมูลมากขึ้นเท่านั้นเพื่อแสดงคำตอบที่สอดคล้องกันและสอดคล้องกันสำหรับพรอมต์

D

การแสดงข้อความแจ้งโดยตรง

#language
#GenerativeAI

คำพ้องความหมายของ zero-shotข้อความเตือน

การกลั่น

#GenerativeAI

ขั้นตอนการลดขนาดmodel (หรือที่เรียกว่าmodel) ให้เหลือน้อยที่สุด (หรือที่เรียกว่าmodel) ซึ่งจำลองการคาดการณ์ของโมเดลต้นฉบับได้อย่างน่าเชื่อถือมากที่สุด การกรองข้อมูลมีประโยชน์เนื่องจากโมเดลที่เล็กกว่ามีข้อดีที่สำคัญ 2 ประการเหนือกว่าโมเดลขนาดใหญ่ (ครู) ดังนี้

  • เวลาในการอนุมานเร็วขึ้น
  • ลดการใช้หน่วยความจำและพลังงาน

แต่การคาดการณ์ของนักเรียนมักจะไม่ดีเท่ากับการคาดคะเนของครู

การสกัดจะฝึกโมเดลของนักเรียนเพื่อลดฟังก์ชันการสูญเสียตามความแตกต่างระหว่างเอาต์พุตของการคาดการณ์ในโมเดลของนักเรียนและครู

เปรียบเทียบการกลั่นกับคำต่อไปนี้

F

การแสดงข้อความแจ้งแบบ 2-3 ช็อต

#language
#GenerativeAI

ข้อความแจ้งที่มีตัวอย่างมากกว่า 1 รายการ ("2-3 รายการ") ที่แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่ควรตอบสนองอย่างไร เช่น พรอมต์ที่ยาวต่อไปนี้มี 2 ตัวอย่างที่แสดงวิธีตอบคำถามของโมเดลภาษาขนาดใหญ่

ส่วนต่างๆ ของข้อความแจ้งรายการเดียว Notes
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร คำถามที่ต้องการให้ LLM ตอบ
ฝรั่งเศส: EUR เช่น
สหราชอาณาจักร: GBP อีกตัวอย่างหนึ่ง
อินเดีย: ข้อความค้นหาจริง

โดยทั่วไปแล้ว การแสดงข้อความแจ้งเพียงเล็กน้อยจะให้ผลลัพธ์ที่น่าพอใจมากกว่าข้อความแจ้งแบบ Zero shot และข้อความแจ้งแบบช็อตเดียว อย่างไรก็ตาม การแสดงข้อความแจ้งเพียงไม่กี่ช็อต ต้องใช้พรอมต์ที่ยาวกว่า

ข้อความแจ้งข้อผิดพลาดเล็กน้อยเป็นรูปแบบหนึ่งของการเรียนรู้แบบรวดเร็วที่ใช้กับการเรียนรู้จากข้อความแจ้ง

การปรับแต่ง

#language
#image
#GenerativeAI

บัตรผ่านการฝึกเฉพาะงานรายการที่ 2 ที่ดำเนินการในโมเดลที่ฝึกล่วงหน้าเพื่อปรับแต่งพารามิเตอร์สำหรับ Use Case ที่เฉพาะเจาะจง ตัวอย่างเช่น ลำดับการฝึกแบบเต็มสำหรับโมเดลภาษาขนาดใหญ่บางโมเดลมีดังนี้

  1. การฝึกล่วงหน้า: ฝึกโมเดลภาษาขนาดใหญ่ในชุดข้อมูลทั่วไปขนาดใหญ่ เช่น หน้า Wikipedia ภาษาอังกฤษทุกหน้า
  2. การปรับแต่ง: ฝึกโมเดลที่ฝึกล่วงหน้าให้ทำงานแบบเจาะจง เช่น การตอบคำถามทางการแพทย์ การปรับแต่งโดยทั่วไปจะมีตัวอย่างหลายร้อยหรือหลายพันตัวอย่างที่มุ่งเน้นงานนั้นๆ

อีกตัวอย่างหนึ่ง ลำดับการฝึกทั้งหมดสำหรับโมเดลรูปภาพขนาดใหญ่มีดังนี้

  1. การฝึกล่วงหน้า: ฝึกโมเดลรูปภาพขนาดใหญ่บนชุดข้อมูลรูปภาพทั่วไปขนาดใหญ่ เช่น รูปภาพทั้งหมดใน Wikimedia Common
  2. การปรับแต่ง: ฝึกโมเดลที่ฝึกล่วงหน้าให้ทำงานแบบเจาะจง เช่น การสร้างรูปภาพวาฬเพชฌฆาต

การปรับแต่งอาจทำให้เกิดชุดค่าผสมของกลยุทธ์ต่อไปนี้

  • กำลังแก้ไขพารามิเตอร์ที่มีอยู่ของโมเดลที่ฝึกล่วงหน้าทั้งหมด ซึ่งในบางครั้งเรียกว่าการปรับแต่งทั้งหมด
  • แก้ไขพารามิเตอร์ที่มีอยู่ของโมเดลที่ฝึกล่วงหน้าบางส่วนเท่านั้น (โดยทั่วไปคือเลเยอร์ที่ใกล้กับเลเยอร์เอาต์พุตมากที่สุด) โดยไม่เปลี่ยนแปลงพารามิเตอร์อื่นๆ ที่มีอยู่ (โดยทั่วไปจะเป็นเลเยอร์ที่ใกล้กับเลเยอร์อินพุตมากที่สุด) ดู การปรับแต่งแบบมีประสิทธิภาพพารามิเตอร์
  • การเพิ่มเลเยอร์ ซึ่งโดยปกติจะอยู่ที่ด้านบนของเลเยอร์ที่มีอยู่ซึ่งอยู่ใกล้กับเลเยอร์เอาต์พุตมากที่สุด

การปรับแต่งเป็นรูปแบบของการเรียนรู้แบบถ่ายโอน ดังนั้น การปรับแต่งอาจใช้ฟังก์ชันการสูญเสียข้อมูลหรือโมเดลประเภทอื่นที่ต่างจากที่ใช้ในการฝึกโมเดลที่ฝึกล่วงหน้า เช่น ปรับแต่งโมเดลอิมเมจขนาดใหญ่ที่ฝึกล่วงหน้าเพื่อสร้างโมเดลการถดถอยที่แสดงผลลัพธ์จำนวนนกในอิมเมจอินพุต

เปรียบเทียบการปรับแต่งอย่างละเอียดกับข้อความต่อไปนี้

G

Generative AI

#language
#image
#GenerativeAI

คือสาขาที่สามารถเปลี่ยนแปลงรูปแบบใหม่ๆ ซึ่งไม่มีคำจำกัดความที่เป็นทางการ อย่างไรก็ตาม ผู้เชี่ยวชาญส่วนใหญ่เห็นด้วยว่าโมเดล Generative AI สามารถสร้าง ("สร้าง") เนื้อหาที่มีลักษณะดังต่อไปนี้ได้

  • ซับซ้อน
  • สอดคล้องกัน
  • เดิม

ตัวอย่างเช่น โมเดล Generative AI สามารถสร้างเรียงความหรือรูปภาพที่ซับซ้อนได้

เทคโนโลยีรุ่นก่อนๆ เช่น LSTM และ RNN สามารถสร้างเนื้อหาต้นฉบับที่สอดคล้องและเหมือนกันได้ด้วย ผู้เชี่ยวชาญบางคนมองว่าเทคโนโลยียุคก่อนเหล่านี้เป็น Generative AI ในขณะที่บางคนรู้สึกว่า Generative AI ที่แท้จริงต้องการผลลัพธ์ที่ซับซ้อนกว่าเทคโนโลยีแรกๆ ที่เทคโนโลยีเหล่านี้ทำได้

คอนทราสต์กับ ML แบบคาดการณ์

I

การเรียนรู้ในบริบท

#language
#GenerativeAI

คำพ้องความหมายของ few-shot prompting

การปรับแต่งการสอน

#GenerativeAI

รูปแบบการปรับแต่งที่ปรับปรุงความสามารถของโมเดล Generative AI ในการทำตามวิธีการ การปรับแต่งการสอนเกี่ยวข้องกับการฝึกโมเดลในชุดคำสั่งการสอน ซึ่งโดยทั่วไปจะครอบคลุมงานต่างๆ จากนั้นโมเดลที่ปรับแต่งการสอนที่ได้มีแนวโน้มที่จะสร้างคำตอบที่เป็นประโยชน์ต่อพรอมต์แบบ Zero shot ในงานต่างๆ

เปรียบเทียบจุดและเปรียบต่างกับ

L

LoRA

#language
#GenerativeAI

เป็นตัวย่อของการปรับตัวได้ในระดับต่ำ

ความสามารถในการปรับตัวที่มีอันดับต่ำ (LoRA)

#language
#GenerativeAI

อัลกอริทึมสำหรับการดำเนินการ การปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพที่ ปรับแต่งเฉพาะบางส่วนของพารามิเตอร์ โมเดลภาษาขนาดใหญ่เท่านั้น LoRA มีประโยชน์ดังต่อไปนี้

  • ปรับแต่งได้เร็วกว่าเทคนิคที่ต้องมีการปรับแต่งพารามิเตอร์ทั้งหมดของโมเดล
  • ลดต้นทุนการคำนวณของการอนุมานในโมเดลที่ปรับแต่งอย่างละเอียด

โมเดลที่ปรับแต่งด้วย LoRA จะรักษาหรือปรับปรุงคุณภาพการคาดการณ์

LoRA เปิดใช้โมเดลพิเศษหลายเวอร์ชัน

M

การต่อแบบโมเดล

#GenerativeAI

ระบบที่เลือกmodelที่เหมาะกับคำค้นหาการอนุมานที่เจาะจง

ลองจินตนาการถึงกลุ่มโมเดลต่างๆ ตั้งแต่ขนาดใหญ่มาก (พารามิเตอร์จำนวนมาก) ไปจนถึงขนาดเล็กมาก (พารามิเตอร์น้อยกว่ามาก) โมเดลขนาดใหญ่มากจะใช้ทรัพยากรในการประมวลผลมากกว่าโมเดลขนาดเล็กกว่า การอนุมาน อย่างไรก็ตาม โมเดลที่ใหญ่มากมักจะอนุมานคำขอที่ซับซ้อนได้กว่าโมเดลขนาดเล็ก การต่อแบบโมเดลจะกำหนดความซับซ้อนของการค้นหาการอนุมาน จากนั้นเลือกโมเดลที่เหมาะสมเพื่อทำการอนุมาน แรงจูงใจหลักสำหรับ Cascading โมเดลคือการลดต้นทุนการอนุมานโดยทั่วไปให้เลือกโมเดลที่เล็กลง และเลือกเฉพาะโมเดลที่ใหญ่ขึ้นสำหรับคำค้นหาที่ซับซ้อนมากขึ้น

สมมติว่ามีโมเดลขนาดเล็กทำงานบนโทรศัพท์ ส่วนเวอร์ชันขนาดใหญ่นั้นทำงานบนเซิร์ฟเวอร์ระยะไกล การเรียงซ้อนโมเดลที่ดีจะช่วยลดค่าใช้จ่ายและเวลาในการตอบสนองได้โดยการทำให้โมเดลที่เล็กกว่าจัดการคำขอทั่วไปและเรียกเฉพาะโมเดลระยะไกลเพื่อจัดการคำขอที่ซับซ้อนเท่านั้น

โปรดดูเราเตอร์รุ่นด้วย

เราเตอร์โมเดล

#GenerativeAI

อัลกอริทึมที่กำหนดmodelที่เหมาะกับmodelในmodel เราเตอร์โมเดลมักจะเป็นโมเดลแมชชีนเลิร์นนิงที่จะค่อยๆ เรียนรู้วิธีเลือกโมเดลที่ดีที่สุดสำหรับอินพุต แต่บางครั้งเราเตอร์โมเดลอาจเป็นอัลกอริทึม ที่ไม่ใช่แมชชีนเลิร์นนิงที่เรียบง่ายกว่า

O

ข้อความแจ้งในช็อตเดียว

#language
#GenerativeAI

ข้อความแจ้งที่มีตัวอย่าง 1 รายการที่แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่ควรตอบสนองอย่างไร เช่น พรอมต์ต่อไปนี้มีตัวอย่างหนึ่งที่แสดงโมเดลภาษาขนาดใหญ่ว่าควรตอบคำถามอย่างไร

ส่วนต่างๆ ของข้อความแจ้งรายการเดียว Notes
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร คำถามที่ต้องการให้ LLM ตอบ
ฝรั่งเศส: EUR เช่น
อินเดีย: ข้อความค้นหาจริง

เปรียบเทียบระหว่างข้อความแจ้งแบบช็อตเดียวกับคำศัพท์ต่อไปนี้

คะแนน

การปรับแต่งให้มีประสิทธิภาพเกี่ยวกับพารามิเตอร์

#language
#GenerativeAI

ชุดเทคนิคในการปรับแต่งโมเดลภาษา (PLM) (PLM) ขนาดใหญ่ได้อย่างมีประสิทธิภาพมากกว่าการปรับแต่งเต็มรูปแบบ การปรับแต่งแบบมีประสิทธิภาพพารามิเตอร์มักจะปรับแต่งพารามิเตอร์น้อยกว่าการปรับแต่งแบบเต็มรูปแบบมาก แต่โดยทั่วไปจะสร้างโมเดลภาษาขนาดใหญ่ซึ่งมีประสิทธิภาพดี (หรือเกือบเท่ากัน) เหมือนโมเดลภาษาขนาดใหญ่ที่สร้างจากการปรับแต่งทั้งหมด

เปรียบเทียบการปรับแต่งประสิทธิภาพพารามิเตอร์กับสิ่งต่อไปนี้

การปรับแต่งอย่างมีประสิทธิภาพพารามิเตอร์เรียกอีกอย่างว่าการปรับแต่งให้มีประสิทธิภาพพารามิเตอร์

โปแลนด์

#language
#GenerativeAI

ตัวย่อของโมเดลภาษาก่อนการฝึก

โมเดลก่อนการฝึก

#language
#image
#GenerativeAI

โมเดลหรือคอมโพเนนต์ของโมเดล (เช่น เวกเตอร์การฝัง) ที่ได้รับการฝึกแล้ว บางครั้งคุณจะป้อนเวกเตอร์การฝังที่ฝึกล่วงหน้าไว้ในโครงข่ายระบบประสาทเทียม แต่บางครั้งโมเดลจะฝึกเวกเตอร์การฝังเองแทนที่จะพึ่งพาการฝังที่ฝึกล่วงหน้า

คำว่าโมเดลภาษาก่อนการฝึกหมายถึงโมเดลภาษาขนาดใหญ่ที่ผ่านการฝึกล่วงหน้า

ก่อนการฝึก

#language
#image
#GenerativeAI

การฝึกเบื้องต้นของโมเดลบนชุดข้อมูลขนาดใหญ่ โมเดลก่อนการฝึกบางรุ่นเป็นยักษ์ที่งุ่มง่ามและมักต้องปรับแต่งผ่านการฝึกเพิ่มเติม เช่น ผู้เชี่ยวชาญ ML อาจฝึกโมเดลภาษาขนาดใหญ่ไว้ล่วงหน้าบนชุดข้อมูลข้อความจำนวนมาก เช่น หน้าภาษาอังกฤษทุกหน้าใน Wikipedia หลังการฝึกล่วงหน้า โมเดลผลลัพธ์อาจมีการปรับแต่งเพิ่มเติมผ่านเทคนิคต่อไปนี้

ข้อความแจ้ง

#language
#GenerativeAI

ข้อความที่ป้อนเป็นอินพุตในโมเดลภาษาขนาดใหญ่เพื่อกำหนดเงื่อนไขให้โมเดลทำงานในลักษณะใดลักษณะหนึ่ง พรอมต์อาจสั้นแค่วลีหรือมีความยาวใดก็ได้ (เช่น ข้อความทั้งหมดในนิยาย) พรอมต์แบ่งออกเป็นหลายหมวดหมู่ รวมถึงหมวดหมู่ที่แสดงในตารางต่อไปนี้

หมวดหมู่ของข้อความแจ้ง ตัวอย่าง Notes
คำถาม นกพิราบบินได้เร็วแค่ไหน
โรงเรียนฝึกอบรม เขียนบทกวีตลกๆ เกี่ยวกับการหากำไร พรอมต์ที่ขอให้โมเดลภาษาขนาดใหญ่ทำบางอย่าง
ตัวอย่าง แปลโค้ดมาร์กดาวน์เป็น HTML เช่น
Markdown: * รายการ
HTML: <ul> <li>รายการ</li> </ul>		 ประโยคแรกในพรอมต์ตัวอย่างนี้คือคำสั่ง ส่วนที่เหลือของข้อความแจ้งคือตัวอย่าง
บทบาท อธิบายเหตุผลที่มีการใช้การไล่ระดับสีในการฝึกแมชชีนเลิร์นนิงจนถึงปริญญาเอกสาขาฟิสิกส์ ส่วนแรกของประโยคคือคำสั่ง วลี "ต่อปริญญาเอกสาขาฟิสิกส์" คือส่วนบทบาท
ป้อนข้อมูลบางส่วนเพื่อให้โมเดลเสร็จสมบูรณ์ นายกรัฐมนตรีของสหราชอาณาจักรอาศัยอยู่ที่ พรอมต์การป้อนข้อมูลบางส่วนอาจสิ้นสุดอย่างกะทันหัน (ดังตัวอย่างนี้) หรือลงท้ายด้วยขีดล่างก็ได้

โมเดล Generative AI สามารถตอบสนองต่อพรอมต์ด้วยข้อความ โค้ด รูปภาพ การฝัง วิดีโอ และอื่นๆ แทบทุกอย่าง

การเรียนรู้จากข้อความแจ้ง

#language
#GenerativeAI

ความสามารถของโมเดลบางรูปแบบที่ช่วยให้ปรับลักษณะการทำงานให้ตอบสนองต่อการป้อนข้อความที่กำหนดเอง (ข้อความแจ้ง) ในรูปแบบการเรียนรู้ตามพรอมต์โดยทั่วไป โมเดลภาษาขนาดใหญ่จะตอบสนองต่อพรอมต์ด้วยการสร้างข้อความ เช่น สมมติว่าผู้ใช้ป้อนพรอมต์ต่อไปนี้

สรุปกฎการเคลื่อนที่ข้อที่ 3 ของนิวตัน

โมเดลที่สามารถเรียนรู้จากข้อความแจ้งไม่ได้รับการฝึกให้ตอบพรอมต์ก่อนหน้าโดยเฉพาะ แต่โมเดลนี้จะ "รู้" ข้อเท็จจริงมากมายเกี่ยวกับฟิสิกส์ เกี่ยวกับกฎภาษาทั่วไป และหลายๆ อย่างเกี่ยวกับสิ่งที่ประกอบขึ้นเป็นคำตอบที่มีประโยชน์โดยทั่วไป ความรู้ดังกล่าวเพียงพอที่จะให้คำตอบที่เป็นประโยชน์ (หวังว่า) ความคิดเห็นเพิ่มเติมจากมนุษย์ ("คำตอบนั้นซับซ้อนเกินไป" หรือ "ปฏิกิริยาคืออะไร") จะช่วยให้ระบบการเรียนรู้จากพรอมต์บางระบบค่อยๆ ปรับปรุงการมีประโยชน์ของคำตอบ

การออกแบบข้อความแจ้ง

#language
#GenerativeAI

คำพ้องความหมายของprompt Engineering

พรอมต์วิศวกรรม

#language
#GenerativeAI

ศิลปะในการสร้างข้อความแจ้งซึ่งกระตุ้นให้เกิดคำตอบที่ต้องการจากโมเดลภาษาขนาดใหญ่ มนุษย์ออกแบบระบบ พรอมต์ การเขียนพรอมต์ที่มีโครงสร้างดีเป็นส่วนสำคัญในการสร้างคำตอบที่เป็นประโยชน์จากโมเดลภาษาขนาดใหญ่ การส่งพรอมต์วิศวกรรมขึ้นอยู่กับปัจจัยหลายอย่าง เช่น

ดูรายละเอียดเพิ่มเติมเกี่ยวกับการเขียนพรอมต์ที่มีประโยชน์ได้ในข้อมูลเบื้องต้นเกี่ยวกับการออกแบบพรอมต์

การออกแบบพรอมต์ (Prompt Design) คือคำพ้องความหมายสำหรับวิศวกรรมพรอมต์

การปรับแต่งข้อความแจ้ง

#language
#GenerativeAI

กลไกการปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพซึ่งจะเรียนรู้ "คำนำหน้า" ซึ่งระบบจะใส่ไว้ข้างหน้าข้อความแจ้งจริง

การปรับแต่งพรอมต์รูปแบบหนึ่งที่บางครั้งเรียกว่าการปรับแต่งคำนำหน้าคือการเพิ่มคำนำหน้าในทุกเลเยอร์ ในทางตรงกันข้าม การปรับแต่งข้อความแจ้งส่วนใหญ่ จะเพิ่มคำนำหน้าลงในเลเยอร์อินพุตเท่านั้น

R

การเรียนรู้แบบเสริมแรงจากความคิดเห็นของมนุษย์ (RLHF)

#GenerativeAI
#rl

การใช้ความคิดเห็นจากเจ้าหน้าที่ตรวจสอบเพื่อปรับปรุงคุณภาพของคำตอบของโมเดล ตัวอย่างเช่น กลไก RLHF จะขอให้ผู้ใช้ให้คะแนนคุณภาพคำตอบของโมเดลด้วยอีโมจิ 👍 หรือ 👎 จากนั้น ระบบจะปรับการตอบสนองในอนาคต ตามความคิดเห็นนั้น

ข้อความแจ้งบทบาท

#language
#GenerativeAI

ส่วนที่ไม่บังคับของข้อความแจ้งที่ระบุกลุ่มเป้าหมายสำหรับคำตอบของโมเดล Generative AI หากไม่มีข้อความแจ้งบทบาท โมเดลภาษาขนาดใหญ่จะให้คำตอบที่อาจเป็นประโยชน์หรือไม่มีประโยชน์สำหรับผู้ที่ถามคำถาม เมื่อมีการพรอมต์บทบาท โมเดลภาษาขนาดใหญ่จะสามารถตอบคำถามที่เหมาะสมและมีประโยชน์มากขึ้นสำหรับกลุ่มเป้าหมายที่เฉพาะเจาะจง เช่น ส่วนพรอมต์บทบาทของข้อความแจ้งต่อไปนี้จะเป็นตัวหนา

  • สรุปบทความนี้สำหรับปริญญาเอกด้านเศรษฐศาสตร์
  • อธิบายวิธีการทำงานของกระแสน้ำสำหรับเด็กอายุ 10 ปี
  • อธิบายวิกฤตทางการเงินปี 2008 พูดเหมือนคุณอาจพูดกับเด็กเล็ก หรือสุนัขพันธุ์โกลเด้นรีทรีฟเวอร์

S

การปรับแต่ง Soft Prompt

#language
#GenerativeAI

เทคนิคในการปรับแต่งโมเดลภาษาขนาดใหญ่สำหรับงานหนึ่งๆ โดยไม่ต้องปรับแต่งการใช้ทรัพยากรอย่างละเอียด แทนที่จะฝึกน้ำหนักทั้งหมดในโมเดล การปรับแต่ง Soft Prompt จะปรับข้อความแจ้งโดยอัตโนมัติเพื่อให้บรรลุเป้าหมายเดียวกัน

โดยทั่วไปแล้ว การปรับแต่ง Soft Prompt จะปรากฎขึ้นเมื่อมีข้อความแจ้งที่เป็นข้อความ แล้วจะเพิ่มโทเค็นที่ฝังเพิ่มเติมต่อท้ายพรอมต์และใช้การเผยแพร่ย้อนกลับเพื่อเพิ่มประสิทธิภาพอินพุต

ข้อความแจ้ง "ฮาร์ด" จะมีโทเค็นจริงแทนการฝังโทเค็น

T

อุณหภูมิ

#language
#image
#GenerativeAI

ไฮเปอร์พารามิเตอร์ที่ควบคุมระดับความสุ่มของเอาต์พุตโมเดล อุณหภูมิที่สูงขึ้นจะส่งผลให้เอาต์พุตแบบสุ่มมากขึ้น ส่วนอุณหภูมิที่ต่ำลงทำให้เอาต์พุตแบบสุ่มน้อยลง

การเลือกอุณหภูมิที่ดีที่สุดขึ้นอยู่กับแอปพลิเคชันเฉพาะและคุณสมบัติที่ต้องการของเอาต์พุตโมเดล เช่น คุณอาจเพิ่มอุณหภูมิเมื่อสร้างแอปพลิเคชันที่สร้างเอาต์พุตครีเอทีฟโฆษณา ในทางกลับกัน คุณอาจลดอุณหภูมิลงเมื่อคุณสร้างโมเดลที่แยกประเภทรูปภาพหรือข้อความเพื่อปรับปรุงความแม่นยำและความสอดคล้องของโมเดล

อุณหภูมิมักใช้กับ softmax

Z

ข้อความแจ้งการตั้งค่าศูนย์ช็อต

#language
#GenerativeAI

ข้อความแจ้งที่ไม่ได้แสดงตัวอย่างวิธีที่คุณต้องการให้โมเดลภาษาขนาดใหญ่ตอบสนอง เช่น

ส่วนต่างๆ ของข้อความแจ้งรายการเดียว Notes
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร คำถามที่ต้องการให้ LLM ตอบ
อินเดีย: ข้อความค้นหาจริง

โมเดลภาษาขนาดใหญ่อาจตอบกลับด้วยสิ่งต่อไปนี้

  • รูปี
  • INR
  • ₹
  • รูปีอินเดีย
  • รูปี
  • รูปีอินเดีย

ถูกทุกข้อ แต่คุณควรใช้รูปแบบใดรูปแบบหนึ่งโดยเฉพาะ

เปรียบเทียบข้อความแจ้งแบบเซโรช็อตกับข้อความต่อไปนี้