LLM: การปรับแต่ง การกลั่น และพรอมต์วิศวกรรม

หน่วยก่อนหน้าอธิบาย LLM วัตถุประสงค์ทั่วไป ซึ่งมีชื่อเรียกต่างๆ ดังนี้

  • LLM พื้นฐาน
  • LLM พื้นฐาน
  • LLM ที่ผ่านการฝึกอบรมล่วงหน้า

LLM พื้นฐานได้รับการฝึกด้วยภาษาที่เป็นธรรมชาติมากพอที่จะ "รู้" ข้อมูลจำนวนมากเกี่ยวกับไวยากรณ์ คำ และสำนวน โมเดลภาษาพื้นฐานสามารถสร้างประโยคที่เป็นประโยชน์เกี่ยวกับหัวข้อที่ผ่านการฝึก นอกจากนี้ LLM พื้นฐานยังทำงานบางอย่างที่เรียกกันว่า "ความคิดสร้างสรรค์" ได้ เช่น การเขียนบทกวี อย่างไรก็ตาม เอาต์พุตข้อความที่สร้างขึ้นของ LLM พื้นฐานไม่ใช่โซลูชันสำหรับปัญหา ML ทั่วไปประเภทอื่นๆ เช่น การถดถอยหรือการแยกประเภท สำหรับกรณีการใช้งานเหล่านี้ LLM พื้นฐานจะทำหน้าที่เป็นแพลตฟอร์มแทนที่จะเป็นโซลูชัน

การเปลี่ยน LLM พื้นฐานเป็นโซลูชันที่ตรงกับความต้องการของแอปพลิเคชันต้องใช้กระบวนการที่เรียกว่าการปรับแต่ง กระบวนการรองที่เรียกว่าการกลั่นจะสร้างโมเดลที่ปรับแต่งมาอย่างดีเวอร์ชันที่เล็กลง (มีพารามิเตอร์น้อยลง)

การปรับแต่ง

งานวิจัยแสดงให้เห็นว่าความสามารถในการจดจำรูปแบบของโมเดลภาษาพื้นฐานมีประสิทธิภาพสูงมากจนบางครั้งต้องอาศัยการฝึกเพิ่มเติมเพียงเล็กน้อยเพื่อเรียนรู้งานบางอย่าง การฝึกเพิ่มเติมนี้ช่วยให้โมเดลคาดการณ์ได้ดีขึ้นสำหรับงานหนึ่งๆ การฝึกเพิ่มเติมนี้เรียกว่าการปรับแต่ง ซึ่งจะช่วยปลดล็อกด้านการใช้งานจริงของ LLM

การปรับแต่งแบบละเอียดจะฝึกโมเดลด้วยตัวอย่างที่เจาะจงกับงานที่แอปพลิเคชันจะดำเนินการ บางครั้งวิศวกรสามารถปรับแต่ง LLM พื้นฐานโดยใช้ตัวอย่างการฝึกเพียงไม่กี่ร้อยหรือไม่กี่พันตัวอย่าง

แม้ว่าจะมีตัวอย่างการฝึกจำนวนไม่มากนัก แต่การปรับแต่งแบบละเอียดมาตรฐานมักใช้การประมวลผลที่มาก เนื่องจากการปรับแต่งแบบละเอียดมาตรฐานเกี่ยวข้องกับการอัปเดตน้ำหนักและค่ากําหนดของพารามิเตอร์แต่ละรายการในการวนซ้ำBackpropagation แต่ละครั้ง แต่โชคดีที่กระบวนการที่ฉลาดขึ้นที่เรียกว่าการปรับพารามิเตอร์อย่างมีประสิทธิภาพสามารถปรับแต่ง LLM ได้โดยการปรับเฉพาะชุดย่อยของพารามิเตอร์ในการวนซ้ำของการย้อนกลับแต่ละครั้ง

การคาดการณ์ของโมเดลที่ปรับแต่งมักจะดีกว่าการคาดการณ์ของ LLM พื้นฐาน อย่างไรก็ตาม โมเดลที่ปรับแต่งจะมีพารามิเตอร์จํานวนเท่ากับ LLM พื้นฐาน ดังนั้นหาก LLM พื้นฐานมีพารามิเตอร์ 10, 000 ล้านรายการ เวอร์ชันที่ปรับแต่งจะมีพารามิเตอร์ 10, 000 ล้านรายการด้วย

การกลั่น

LLM ที่ปรับแต่งอย่างละเอียดส่วนใหญ่มีพารามิเตอร์จํานวนมาก ด้วยเหตุนี้ LLM พื้นฐานจึงต้องใช้ทรัพยากรการประมวลผลและสภาพแวดล้อมจำนวนมากเพื่อสร้างการคาดการณ์ โปรดทราบว่าพารามิเตอร์จำนวนมากเหล่านั้นมักจะไม่เกี่ยวข้องกับแอปพลิเคชันหนึ่งๆ โดยเฉพาะ

การกลั่น สร้าง LLM เวอร์ชันที่เล็กลง LLM ที่กลั่นแล้วจะสร้างการคาดการณ์ได้เร็วกว่ามาก และใช้ทรัพยากรการประมวลผลและสภาพแวดล้อมน้อยกว่า LLM แบบเต็ม อย่างไรก็ตาม โดยทั่วไปแล้วการคาดการณ์ของโมเดลที่กลั่นออกมาจะไม่ค่อยดีเท่ากับการคาดการณ์ของ LLM เดิม โปรดทราบว่า LLM ที่มีพารามิเตอร์มากกว่ามักจะสร้างการคาดการณ์ที่ดีกว่า LLM ที่มีพารามิเตอร์น้อยกว่า

วิศวกรรมพรอมต์

การปรับแต่งพรอมต์ ช่วยให้ผู้ใช้ปลายทางของ LLM ปรับแต่งเอาต์พุตของโมเดลได้ กล่าวคือ ผู้ใช้ปลายทางจะชี้แจงว่า LLM ควรตอบสนองต่อพรอมต์อย่างไร

มนุษย์เรียนรู้จากตัวอย่างได้ดี LLM ก็เช่นกัน การแสดงตัวอย่าง 1 รายการต่อ LLM เรียกว่าการแจ้งเตือนแบบครั้งเดียว เช่น สมมติว่าคุณต้องการให้โมเดลใช้รูปแบบต่อไปนี้เพื่อแสดงผลครอบครัวของผลไม้

ผู้ใช้ป้อนชื่อผลไม้: LLM จะแสดงผลคลาสของผลไม้นั้น

พรอมต์แบบยิงครั้งเดียวจะแสดงตัวอย่างเดียวของรูปแบบก่อนหน้าให้ LLM เห็น จากนั้นจะขอให้ LLM ดำเนินการค้นหาให้เสร็จสมบูรณ์โดยอิงตามตัวอย่างนั้น ตัวอย่างเช่น

peach: drupe
apple: ______

บางครั้งตัวอย่างเพียงรายการเดียวก็เพียงพอแล้ว หากใช่ LLM จะแสดงการคาดการณ์ที่มีประโยชน์ ตัวอย่างเช่น

apple: pome

ในกรณีอื่นๆ ตัวอย่างเพียงรายการเดียวอาจไม่เพียงพอ กล่าวคือ ผู้ใช้ต้องแสดงตัวอย่าง LLM หลายรายการ ตัวอย่างเช่นพรอมต์ต่อไปนี้มีตัวอย่าง 2 รายการ

plum: drupe
pear: pome
lemon: ____

การให้ตัวอย่างหลายรายการเรียกว่าFew-Shot Prompting คุณสามารถมองว่า 2 บรรทัดแรกของพรอมต์ก่อนหน้าเป็นตัวอย่างการฝึก

LLM ให้การคาดการณ์ที่เป็นประโยชน์ได้โดยไม่ต้องมีตัวอย่าง (การพรอมต์แบบไม่ใช้ตัวอย่าง) ไหม บางครั้ง แต่ LLM ชอบบริบท หากไม่มีบริบท พรอมต์แบบยิงนัดเดียวต่อไปนี้อาจแสดงข้อมูลเกี่ยวกับบริษัทเทคโนโลยีแทนผลไม้

apple: _______

การทำนายแบบออฟไลน์

บางครั้งจํานวนพารามิเตอร์ใน LLM อาจมีมากจนการอนุมานออนไลน์ทำงานช้าเกินกว่าที่จะนำไปใช้กับงานในชีวิตจริงได้ เช่น การหาค่าสัมประสิทธ์เชิงเส้นหรือการแยกประเภท ด้วยเหตุนี้ ทีมวิศวกรจํานวนมากจึงใช้การอนุมานแบบออฟไลน์ (หรือที่เรียกว่าการอนุมานแบบเป็นกลุ่มหรือการอนุมานแบบคงที่) แทน กล่าวคือ โมเดลที่ผ่านการฝึกอบรมจะทำการคาดการณ์ล่วงหน้าและแคชการคาดการณ์เหล่านั้นแทนที่จะตอบกลับการค้นหา ณ เวลาแสดงผล

LLM อาจใช้เวลานานในการทํางานให้เสร็จสมบูรณ์ แต่ก็ไม่มีปัญหาหาก LLM ต้องทํางานเพียงสัปดาห์ละครั้งหรือเดือนละครั้ง

ตัวอย่างเช่น Google Search ใช้ LLM เพื่อทำการอนุมานแบบออฟไลน์เพื่อแคชรายการคำพ้องความหมายกว่า 800 คำสำหรับวัคซีนโควิดในภาษาต่างๆ กว่า 50 ภาษา จากนั้น Google Search จะใช้รายการที่แคชไว้เพื่อระบุการค้นหาเกี่ยวกับวัคซีนในการเข้าชมแบบเรียลไทม์

ใช้ LLM อย่างมีความรับผิดชอบ

โดยทั่วไปแล้ว LLM จะแชร์อคติของสิ่งต่อไปนี้เช่นเดียวกับแมชชีนเลิร์นนิงรูปแบบอื่นๆ

  • ข้อมูลที่ได้รับในการฝึก
  • ข้อมูลที่ใช้กลั่น

ใช้ LLM อย่างเป็นธรรมและมีความรับผิดชอบ โดยทำตามหลักเกณฑ์ที่ระบุไว้ในข้อบังคับของข้อมูลและข้อบังคับด้านความเป็นธรรม

แบบฝึกหัด: ทดสอบความเข้าใจ

ข้อความใดต่อไปนี้เป็นจริงเกี่ยวกับ LLM
LLM ที่กลั่นแล้วมีพารามิเตอร์น้อยกว่าโมเดลภาษาพื้นฐานที่เป็นต้นทาง
ใช่ การกลั่นจะลดจํานวนพารามิเตอร์
LLM ที่ปรับแต่งจะมีพารามิเตอร์น้อยกว่าโมเดลภาษาพื้นฐานที่ใช้ฝึก
โมเดลที่ปรับแต่งจะมีพารามิเตอร์จํานวนเท่ากันกับโมเดลภาษาพื้นฐานเดิม
เมื่อผู้ใช้ทำการวิศวกรรมพรอมต์มากขึ้น จํานวนพารามิเตอร์ใน LLM ก็จะเพิ่มขึ้น
การปรับแต่งพรอมต์จะไม่เพิ่ม (หรือนําออกหรือแก้ไข) พารามิเตอร์ LLM
ก่อนหน้า
โมเดลภาษาขนาดใหญ่คืออะไร (15 นาที)
ถัดไป
ทดสอบความรู้ของคุณ (10 นาที)