Bài trước đã mô tả các LLM dùng cho nhiều mục đích, còn gọi là:
- LLM cơ bản
- LLM cơ sở
- LLM được huấn luyện trước
LLM cơ bản được huấn luyện về đủ ngôn ngữ tự nhiên để "biết" một lượng đáng kể về ngữ pháp, từ và thành ngữ. Mô hình ngôn ngữ cơ sở có thể tạo ra các câu hữu ích về các chủ đề mà mô hình được huấn luyện. Hơn nữa, một LLM cơ bản có thể thực hiện một số nhiệm vụ nhất định thường được gọi là "sáng tạo", chẳng hạn như viết thơ. Tuy nhiên, kết quả văn bản tạo sinh của LLM cơ bản không phải là giải pháp cho các loại vấn đề phổ biến khác về học máy, chẳng hạn như hồi quy hoặc phân loại. Đối với các trường hợp sử dụng này, LLM cơ sở có thể đóng vai trò là một nền tảng thay vì một giải pháp.
Để chuyển đổi LLM cơ sở thành một giải pháp đáp ứng nhu cầu của ứng dụng, bạn cần thực hiện một quy trình gọi là điều chỉnh chi tiết. Một quy trình phụ có tên là chưng cất sẽ tạo ra một phiên bản nhỏ hơn (ít tham số hơn) của mô hình được tinh chỉnh.
Tinh chỉnh
Nghiên cứu cho thấy rằng khả năng nhận dạng mẫu của các mô hình ngôn ngữ cơ sở rất mạnh mẽ, đôi khi chỉ cần đào tạo thêm một chút là có thể học được các nhiệm vụ cụ thể. Việc huấn luyện bổ sung đó giúp mô hình này đưa ra dự đoán chính xác hơn về một tác vụ cụ thể. Lớp đào tạo bổ sung này, được gọi là điều chỉnh chi tiết, sẽ giúp bạn khai thác khía cạnh thực tế của LLM.
Điều chỉnh chi tiết các mô hình huấn luyện dựa trên các ví dụ cụ thể cho tác vụ mà ứng dụng của bạn sẽ thực hiện. Đôi khi, các kỹ sư có thể tinh chỉnh một mô hình ngôn ngữ lớn (LLM) nền tảng chỉ với vài trăm hoặc vài nghìn ví dụ huấn luyện.
Mặc dù có số lượng ví dụ huấn luyện tương đối nhỏ, nhưng việc tinh chỉnh tiêu chuẩn thường tốn kém về mặt tính toán. Đó là do hoạt động tinh chỉnh chuẩn liên quan đến việc cập nhật trọng số và độ chệch của mọi tham số trên mỗi lần lặp lại backpropagation. Rất may, một quy trình thông minh hơn có tên là điều chỉnh hiệu quả tham số có thể tinh chỉnh LLM bằng cách chỉ điều chỉnh một nhóm nhỏ tham số trên mỗi lần lặp lại quy trình truyền ngược.
Thông thường, kết quả dự đoán của mô hình được tinh chỉnh sẽ tốt hơn kết quả dự đoán của LLM cơ sở. Tuy nhiên, mô hình được tinh chỉnh chứa cùng số lượng tham số với LLM cơ sở. Vì vậy, nếu một LLM cơ sở chứa 10 tỷ tham số, thì phiên bản được tinh chỉnh cũng sẽ chứa 10 tỷ tham số.
Chưng cất
Hầu hết các LLM được tinh chỉnh đều chứa số lượng lớn các tham số. Do đó, các mô hình ngôn ngữ lớn (LLM) cơ sở đòi hỏi tài nguyên điện toán và môi trường khổng lồ để tạo ra dự đoán. Xin lưu ý rằng phần lớn các tham số đó thường không liên quan đến một ứng dụng cụ thể.
Quy trình chưng cất tạo ra một phiên bản LLM nhỏ hơn. LLM tinh chế tạo ra các dự đoán nhanh hơn nhiều và yêu cầu ít tài nguyên tính toán và môi trường hơn so với LLM đầy đủ. Tuy nhiên, thông tin dự đoán của mô hình chắt lọc nhìn chung không hoàn toàn chính xác như dự đoán của LLM ban đầu. Hãy nhớ rằng LLM có nhiều tham số hơn gần như luôn tạo ra kết quả dự đoán tốt hơn so với LLM có ít tham số hơn.
Thiết kế câu lệnh
Kỹ thuật câu lệnh cho phép người dùng cuối của LLM tuỳ chỉnh dữ liệu đầu ra của mô hình. Tức là người dùng cuối sẽ làm rõ cách LLM phản hồi lời nhắc của họ.
Con người học tốt từ các ví dụ. Các LLM (mô hình ngôn ngữ lớn) cũng vậy. Việc hiển thị một ví dụ cho LLM được gọi là lệnh nhắc một lần. Ví dụ: giả sử bạn muốn một mô hình sử dụng định dạng sau để xuất ra một họ trái cây:
Người dùng nhập tên của một loại trái cây: LLM sẽ xuất ra lớp của loại trái cây đó.
Lệnh gọi một lần hiển thị cho LLM một ví dụ duy nhất về định dạng trước đó, sau đó yêu cầu LLM hoàn tất một truy vấn dựa trên ví dụ đó. Ví dụ:
peach: drupe apple: ______
Đôi khi, chỉ cần một ví dụ là đủ. Nếu có, LLM sẽ đưa ra một thông tin dự đoán hữu ích. Ví dụ:
apple: pome
Trong các trường hợp khác, một ví dụ không đủ. Tức là người dùng phải cho thấy nhiều ví dụ về LLM. Ví dụ: câu lệnh sau đây chứa hai ví dụ:
plum: drupe pear: pome lemon: ____
Việc cung cấp nhiều ví dụ được gọi là nhắc nhở vài lần. Bạn có thể coi hai dòng đầu tiên của câu lệnh trước đó là các ví dụ đào tạo.
Một mô hình ngôn ngữ lớn (LLM) có thể đưa ra thông tin dự đoán hữu ích mà không có ví dụ (nhắc nhở hoạt động bằng 0) không? Đôi khi, nhưng LLM thích ngữ cảnh. Nếu không có ngữ cảnh, lời nhắc "không rõ ràng" sau đây có thể trả về thông tin về công ty công nghệ thay vì thông tin kết quả:
apple: _______
Suy luận ngoại tuyến
Số lượng tham số trong một LLM đôi khi lớn đến mức suy luận trực tuyến là quá chậm nên không thể thực hiện được cho các tác vụ thực tế như hồi quy hoặc phân loại. Do đó, nhiều nhóm kỹ sư dựa vào tính năng suy luận ngoại tuyến (còn gọi là tính năng suy luận hàng loạt hoặc tính năng suy luận tĩnh). Nói cách khác, thay vì phản hồi các truy vấn tại thời gian phân phát, mô hình đã huấn luyện sẽ đưa ra trước các dự đoán rồi lưu các dự đoán đó vào bộ nhớ đệm.
Nếu LLM chỉ phải thực hiện nhiệm vụ một lần mỗi tuần hoặc một lần mỗi tháng, thì việc một LLM mất nhiều thời gian để hoàn thành nhiệm vụ của mình sẽ không gây ra vấn đề gì.
Ví dụ: Google Tìm kiếm sử dụng LLM để thực hiện suy luận ngoại tuyến nhằm lưu vào bộ nhớ đệm danh sách hơn 800 từ đồng nghĩa cho vắc-xin Covid bằng hơn 50 ngôn ngữ. Sau đó, Google Tìm kiếm sử dụng danh sách đã lưu vào bộ nhớ đệm để xác định các truy vấn về vắc-xin trong lưu lượng truy cập trực tiếp.
Sử dụng LLM một cách có trách nhiệm
Giống như mọi hình thức học máy khác, các LLM thường có chung thiên kiến:
- Dữ liệu mà chúng được huấn luyện.
- Dữ liệu mà chúng được tổng hợp.
Sử dụng LLM một cách công bằng và có trách nhiệm theo các bài học được trình bày trước đó trong khoá học này.