Trang này chứa các thuật ngữ trong bảng chú giải về AI tạo sinh. Để xem tất cả các thuật ngữ trong bảng chú giải, hãy nhấp vào đây.
A
sự thích ứng
Từ đồng nghĩa với việc điều chỉnh hoặc tinh chỉnh.
đánh giá tự động
Sử dụng phần mềm để đánh giá chất lượng đầu ra của một mô hình.
Khi đầu ra của mô hình tương đối đơn giản, một tập lệnh hoặc chương trình có thể so sánh đầu ra của mô hình với một phản hồi mẫu. Loại đánh giá tự động này đôi khi được gọi là đánh giá theo chương trình. Các chỉ số như ROUGE hoặc BLEU thường hữu ích cho việc đánh giá theo chương trình.
Khi đầu ra của mô hình phức tạp hoặc không có câu trả lời đúng duy nhất, một chương trình học máy riêng biệt có tên là autorater (trình đánh giá tự động) đôi khi sẽ thực hiện quy trình đánh giá tự động.
Tương phản với đánh giá của con người.
đánh giá autorater
Một cơ chế kết hợp để đánh giá chất lượng đầu ra của mô hình AI tạo sinh, kết hợp quy trình đánh giá thủ công với quy trình đánh giá tự động. Autorater là một mô hình học máy được huấn luyện dựa trên dữ liệu do hoạt động đánh giá của con người tạo ra. Lý tưởng nhất là một công cụ đánh giá tự động học cách mô phỏng một nhân viên đánh giá là con người.Có sẵn các trình đánh giá tự động được tạo sẵn, nhưng trình đánh giá tự động tốt nhất là trình được tinh chỉnh cụ thể cho nhiệm vụ mà bạn đang đánh giá.
mô hình tự hồi quy
Một mô hình suy luận một dự đoán dựa trên các dự đoán trước đó của chính mô hình đó. Ví dụ: mô hình ngôn ngữ tự hồi quy dự đoán mã thông báo tiếp theo dựa trên các mã thông báo đã dự đoán trước đó. Tất cả mô hình ngôn ngữ lớn dựa trên Transformer đều tự hồi quy.
Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự hồi quy vì chúng tạo ra hình ảnh trong một lần chuyển tiếp duy nhất chứ không phải lặp lại theo các bước. Tuy nhiên, một số mô hình tạo hình ảnh có tính tự hồi quy vì chúng tạo hình ảnh theo từng bước.
B
mô hình cơ sở
Một mô hình được huấn luyện trước có thể đóng vai trò là điểm bắt đầu cho quá trình điều chỉnh để giải quyết các nhiệm vụ hoặc ứng dụng cụ thể.
Xem thêm mô hình được huấn luyện trước và mô hình nền tảng.
C
đặt câu lệnh theo chuỗi suy luận
Một kỹ thuật thiết kế câu lệnh khuyến khích mô hình ngôn ngữ lớn (LLM) giải thích quy trình suy luận của mình từng bước. Ví dụ: hãy xem xét câu lệnh sau, đặc biệt chú ý đến câu thứ hai:
Một người lái xe sẽ chịu bao nhiêu lực g trong một chiếc xe tăng tốc từ 0 đến 60 dặm/giờ trong 7 giây? Trong câu trả lời, hãy trình bày tất cả các phép tính liên quan.
Câu trả lời của LLM có thể sẽ:
- Cho thấy một chuỗi công thức vật lý, cắm các giá trị 0, 60 và 7 vào các vị trí thích hợp.
- Giải thích lý do chọn những công thức đó và ý nghĩa của các biến số.
Câu lệnh chuỗi suy luận buộc LLM thực hiện tất cả các phép tính, điều này có thể dẫn đến câu trả lời chính xác hơn. Ngoài ra, tính năng gợi ý theo chuỗi suy luận cho phép người dùng xem xét các bước của LLM để xác định xem câu trả lời có hợp lý hay không.
trò chuyện
Nội dung của cuộc trò chuyện qua lại với một hệ thống học máy, thường là một mô hình ngôn ngữ lớn. Tương tác trước đó trong cuộc trò chuyện (nội dung bạn đã nhập và cách mô hình ngôn ngữ lớn phản hồi) sẽ trở thành ngữ cảnh cho các phần tiếp theo của cuộc trò chuyện.
Trợ lý trò chuyện là một ứng dụng của mô hình ngôn ngữ lớn.
mô hình nhúng ngôn ngữ theo ngữ cảnh
Một mô hình nhúng gần như "hiểu" được các từ và cụm từ theo cách mà người nói thành thạo có thể hiểu. Các câu lệnh nhúng ngôn ngữ theo ngữ cảnh có thể hiểu được cú pháp, ngữ nghĩa và ngữ cảnh phức tạp.
Ví dụ: hãy xem xét các vectơ nhúng của từ tiếng Anh cow (bò). Các vectơ nhúng cũ hơn, chẳng hạn như word2vec có thể biểu thị các từ tiếng Anh sao cho khoảng cách trong không gian vectơ nhúng từ cow (bò cái) đến bull (bò đực) tương tự như khoảng cách từ ewe (cừu cái) đến ram (cừu đực) hoặc từ female (nữ) đến male (nam). Các vectơ nhúng ngôn ngữ theo ngữ cảnh có thể tiến thêm một bước bằng cách nhận ra rằng đôi khi người nói tiếng Anh sử dụng từ cow (bò cái) một cách tuỳ ý để chỉ cả bò cái và bò đực.
cửa sổ ngữ cảnh
Số lượng mã thông báo mà một mô hình có thể xử lý trong một lời nhắc nhất định. Cửa sổ ngữ cảnh càng lớn, mô hình càng có thể sử dụng nhiều thông tin để đưa ra câu trả lời mạch lạc và nhất quán cho câu lệnh.
D
đặt câu lệnh trực tiếp
Từ đồng nghĩa với đặt câu lệnh không kèm ví dụ.
chưng cất
Quá trình giảm kích thước của một mô hình (được gọi là giáo viên) thành một mô hình nhỏ hơn (được gọi là học viên) mô phỏng các dự đoán của mô hình ban đầu một cách trung thực nhất có thể. Chưng cất rất hữu ích vì mô hình nhỏ hơn có 2 lợi ích chính so với mô hình lớn hơn (mô hình gốc):
- Thời gian suy luận nhanh hơn
- Giảm mức sử dụng bộ nhớ và năng lượng
Tuy nhiên, các dự đoán của học viên thường không chính xác bằng dự đoán của giáo viên.
Chưng cất giúp huấn luyện mô hình học viên để giảm thiểu hàm tổn thất dựa trên sự khác biệt giữa các kết quả dự đoán của mô hình học viên và mô hình giáo viên.
So sánh và đối chiếu chưng cất với các thuật ngữ sau:
Hãy xem phần Mô hình ngôn ngữ lớn: Tinh chỉnh, chưng cất và kỹ thuật tạo câu lệnh trong Khoá học cấp tốc về học máy để biết thêm thông tin.
E
evals
Chủ yếu được dùng làm từ viết tắt cho các hoạt động đánh giá mô hình ngôn ngữ lớn (LLM). Nói chung, evals là từ viết tắt của mọi hình thức đánh giá.
đánh giá
Quy trình đo lường chất lượng của một mô hình hoặc so sánh các mô hình khác nhau với nhau.
Để đánh giá một mô hình học máy có giám sát, bạn thường đánh giá mô hình đó dựa trên một tập hợp xác thực và một tập hợp kiểm thử. Đánh giá một LLM thường bao gồm các đánh giá rộng hơn về chất lượng và độ an toàn.
F
tính xác thực
Trong thế giới học máy, một thuộc tính mô tả mô hình có đầu ra dựa trên thực tế. Tính xác thực là một khái niệm chứ không phải một chỉ số. Ví dụ: giả sử bạn gửi câu lệnh sau đây đến một mô hình ngôn ngữ lớn:
Công thức hoá học của muối ăn là gì?
Một mô hình tối ưu hoá tính xác thực sẽ phản hồi:
NaCl
Chúng ta dễ dàng cho rằng tất cả các mô hình đều phải dựa trên tính xác thực. Tuy nhiên, một số câu lệnh (chẳng hạn như những câu lệnh sau) sẽ khiến mô hình AI tạo sinh tối ưu hoá tính sáng tạo thay vì tính xác thực.
Kể cho tôi nghe một bài thơ limerick về một phi hành gia và một con sâu bướm.
Khó có khả năng bài thơ năm dòng thu được sẽ dựa trên thực tế.
Tương phản với tính thực tế.
giảm nhanh
Một kỹ thuật đào tạo để cải thiện hiệu suất của LLM. Giảm tốc độ nhanh liên quan đến việc giảm nhanh tốc độ học tập trong quá trình huấn luyện. Chiến lược này giúp ngăn mô hình quá khớp với dữ liệu huấn luyện và cải thiện khả năng khái quát hoá.
đặt câu lệnh dựa trên một vài ví dụ
Một câu lệnh chứa nhiều ví dụ (một "vài" ví dụ) minh hoạ cách mô hình ngôn ngữ lớn nên phản hồi. Ví dụ: câu lệnh dài sau đây chứa 2 ví dụ cho thấy cách mô hình ngôn ngữ lớn trả lời một cụm từ tìm kiếm.
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Vương quốc Anh: GBP | Một ví dụ khác. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
Việc đưa ra một vài ví dụ thường mang lại kết quả mong muốn hơn so với đưa ra không ví dụ và đưa ra một ví dụ. Tuy nhiên, việc đặt câu lệnh dựa trên một vài ví dụ đòi hỏi câu lệnh dài hơn.
Đặt câu lệnh dựa trên một vài ví dụ là một dạng học từ một vài dữ liệu được áp dụng cho học dựa trên câu lệnh.
Hãy xem phần Kỹ thuật tạo câu lệnh trong Khoá học học máy ứng dụng để biết thêm thông tin.
tinh chỉnh
Một lần huấn luyện thứ hai, dành riêng cho từng nhiệm vụ, được thực hiện trên mô hình được huấn luyện trước để tinh chỉnh các tham số của mô hình cho một trường hợp sử dụng cụ thể. Ví dụ: trình tự huấn luyện đầy đủ cho một số mô hình ngôn ngữ lớn như sau:
- Huấn luyện trước: Huấn luyện một mô hình ngôn ngữ lớn trên một tập dữ liệu chung rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
- Tinh chỉnh: Huấn luyện mô hình được huấn luyện trước để thực hiện một nhiệm vụ cụ thể, chẳng hạn như trả lời các câu hỏi về y tế. Quá trình tinh chỉnh thường liên quan đến hàng trăm hoặc hàng nghìn ví dụ tập trung vào nhiệm vụ cụ thể.
Một ví dụ khác là trình tự huấn luyện đầy đủ cho một mô hình hình ảnh lớn như sau:
- Huấn luyện trước: Huấn luyện một mô hình hình ảnh lớn trên một tập dữ liệu hình ảnh chung rộng lớn, chẳng hạn như tất cả hình ảnh trong Wikimedia Commons.
- Tinh chỉnh: Huấn luyện mô hình được huấn luyện trước để thực hiện một nhiệm vụ cụ thể, chẳng hạn như tạo hình ảnh về cá voi sát thủ.
Tinh chỉnh có thể bao gồm bất kỳ sự kết hợp nào của các chiến lược sau:
- Sửa đổi tất cả tham số hiện có của mô hình được huấn luyện trước. Quá trình này đôi khi được gọi là điều chỉnh toàn bộ.
- Chỉ sửa đổi một số tham số hiện có của mô hình được huấn luyện trước (thường là các lớp gần với lớp đầu ra), trong khi vẫn giữ nguyên các tham số hiện có khác (thường là các lớp gần với lớp đầu vào). Xem phần điều chỉnh hiệu quả tham số.
- Thêm nhiều lớp hơn, thường là ở trên cùng của các lớp hiện có gần với lớp đầu ra nhất.
Tinh chỉnh là một dạng học chuyển giao. Do đó, quy trình tinh chỉnh có thể sử dụng một hàm mất mát hoặc một loại mô hình khác với những hàm và loại mô hình được dùng để huấn luyện mô hình được huấn luyện trước. Ví dụ: bạn có thể tinh chỉnh một mô hình hình ảnh lớn được huấn luyện trước để tạo ra một mô hình hồi quy trả về số lượng chim trong một hình ảnh đầu vào.
So sánh và đối chiếu quy trình tinh chỉnh với các thuật ngữ sau:
Hãy xem phần Tinh chỉnh trong Khoá học học máy ứng dụng để biết thêm thông tin.
Mô hình Flash
Một nhóm các mô hình Gemini tương đối nhỏ được tối ưu hoá về tốc độ và độ trễ thấp. Các mô hình Flash được thiết kế cho nhiều ứng dụng mà ở đó, tốc độ phản hồi nhanh và thông lượng cao là yếu tố quan trọng.
mô hình nền tảng
Một mô hình được huấn luyện trước có quy mô rất lớn, được huấn luyện trên một tập huấn luyện khổng lồ và đa dạng. Một mô hình cơ sở có thể làm cả hai việc sau:
- Đáp ứng tốt nhiều loại yêu cầu.
- Đóng vai trò là một mô hình cơ sở để điều chỉnh hoặc tuỳ chỉnh thêm.
Nói cách khác, mô hình cơ sở đã có khả năng rất cao theo nghĩa chung nhưng có thể được tuỳ chỉnh thêm để trở nên hữu ích hơn nữa cho một nhiệm vụ cụ thể.
phân số thành công
Một chỉ số để đánh giá văn bản do AI tạo của một mô hình học máy. Phân số thành công là số lượng đầu ra văn bản được tạo "thành công" chia cho tổng số đầu ra văn bản được tạo. Ví dụ: nếu mô hình ngôn ngữ lớn tạo ra 10 khối mã, trong đó có 5 khối thành công, thì tỷ lệ thành công sẽ là 50%.
Mặc dù tỷ lệ thành công thường hữu ích trong thống kê, nhưng trong học máy, chỉ số này chủ yếu hữu ích để đo lường các tác vụ có thể xác minh như tạo mã hoặc giải toán.
G
Gemini
Hệ sinh thái bao gồm AI tiên tiến nhất của Google. Các thành phần của hệ sinh thái này bao gồm:
- Nhiều mô hình Gemini.
- Giao diện trò chuyện tương tác với một mô hình Gemini. Người dùng nhập câu lệnh và Gemini sẽ phản hồi những câu lệnh đó.
- Nhiều Gemini API.
- Nhiều sản phẩm kinh doanh dựa trên các mô hình Gemini; ví dụ: Gemini cho Google Cloud.
Các mô hình Gemini
Transformer dựa trên các mô hình đa phương thức tiên tiến của Google. Các mô hình Gemini được thiết kế riêng để tích hợp với các tác nhân.
Người dùng có thể tương tác với các mô hình Gemini theo nhiều cách, bao gồm cả thông qua giao diện hộp thoại tương tác và thông qua các SDK.
Gemma
Một nhóm các mô hình nguồn mở có dung lượng nhỏ được xây dựng dựa trên cùng một nghiên cứu và công nghệ được dùng để tạo ra các mô hình Gemini. Có nhiều mô hình Gemma, mỗi mô hình cung cấp các tính năng khác nhau, chẳng hạn như thị giác, mã và khả năng tuân theo chỉ dẫn. Hãy xem Gemma để biết thông tin chi tiết.
AI tạo sinh hoặc AI tạo sinh
Từ viết tắt của AI tạo sinh.
văn bản được tạo
Nhìn chung, đây là văn bản mà mô hình học máy tạo ra. Khi đánh giá các mô hình ngôn ngữ lớn, một số chỉ số so sánh văn bản được tạo với văn bản tham chiếu. Ví dụ: giả sử bạn đang cố gắng xác định mức độ hiệu quả của một mô hình học máy trong việc dịch từ tiếng Pháp sang tiếng Hà Lan. Trong trường hợp này:
- Văn bản được tạo là bản dịch tiếng Hà Lan mà mô hình học máy đưa ra.
- Văn bản tham khảo là bản dịch tiếng Hà Lan do một người dịch (hoặc phần mềm) tạo ra.
Xin lưu ý rằng một số chiến lược đánh giá không liên quan đến văn bản tham chiếu.
AI tạo sinh
Một lĩnh vực biến đổi mới nổi chưa có định nghĩa chính thức. Tuy nhiên, hầu hết các chuyên gia đều đồng ý rằng các mô hình AI tạo sinh có thể tạo ("tạo") nội dung đáp ứng tất cả các tiêu chí sau:
- phức tạp
- mạch lạc
- gốc
Sau đây là một số ví dụ về AI tạo sinh:
- Mô hình ngôn ngữ lớn có thể tạo ra văn bản gốc tinh vi và trả lời câu hỏi.
- Mô hình tạo hình ảnh có thể tạo ra những hình ảnh độc đáo.
- Mô hình tạo âm thanh và nhạc, có thể sáng tác nhạc gốc hoặc tạo lời nói chân thực.
- Mô hình tạo video có thể tạo video nguyên gốc.
Một số công nghệ trước đây, bao gồm cả LSTM và RNN, cũng có thể tạo ra nội dung nguyên gốc và mạch lạc. Một số chuyên gia coi những công nghệ trước đây này là AI tạo sinh, trong khi những người khác cho rằng AI tạo sinh thực sự cần có đầu ra phức tạp hơn so với những gì mà các công nghệ trước đây có thể tạo ra.
Trái ngược với mô hình ML dự đoán.
câu trả lời hoàn hảo
Một phản hồi được biết là hữu ích. Ví dụ: với câu lệnh sau:
2 + 2
Phản hồi lý tưởng là:
4
Cao
đánh giá của con người
Một quy trình trong đó con người đánh giá chất lượng đầu ra của một mô hình học máy; ví dụ: yêu cầu người song ngữ đánh giá chất lượng của một mô hình dịch bằng học máy. Đánh giá thủ công đặc biệt hữu ích khi đánh giá những mô hình không có câu trả lời đúng.
Tương phản với đánh giá tự động và đánh giá của người đánh giá tự động.
con người tham gia vào vòng lặp (HITL)
Một thành ngữ được định nghĩa lỏng lẻo có thể mang một trong hai ý nghĩa sau:
- Chính sách xem xét kỹ lưỡng hoặc hoài nghi về kết quả của AI tạo sinh.
- Một chiến lược hoặc hệ thống nhằm đảm bảo rằng mọi người giúp định hình, đánh giá và tinh chỉnh hành vi của mô hình. Việc duy trì sự tham gia của con người giúp AI hưởng lợi từ cả trí thông minh của máy móc và trí thông minh của con người. Ví dụ: một hệ thống mà AI tạo mã rồi kỹ sư phần mềm xem xét là một hệ thống có sự tham gia của con người.
I
học tập theo bối cảnh
Từ đồng nghĩa với đặt câu lệnh dựa trên một vài ví dụ.
suy luận
Trong công nghệ học máy truyền thống, quy trình đưa ra dự đoán bằng cách áp dụng một mô hình đã được huấn luyện cho các ví dụ chưa được gắn nhãn. Hãy xem phần Học có giám sát trong khoá học Giới thiệu về học máy để tìm hiểu thêm.
Trong mô hình ngôn ngữ lớn, suy luận là quá trình sử dụng một mô hình đã được huấn luyện để tạo ra một phản hồi cho một câu lệnh đầu vào.
Suy luận có một ý nghĩa khác trong thống kê. Hãy xem bài viết trên Wikipedia về suy luận thống kê để biết thông tin chi tiết.
điều chỉnh theo chỉ dẫn
Một dạng điều chỉnh giúp cải thiện khả năng tuân theo hướng dẫn của mô hình AI tạo sinh. Tinh chỉnh hướng dẫn liên quan đến việc huấn luyện một mô hình trên một loạt câu lệnh hướng dẫn, thường bao gồm nhiều loại nhiệm vụ. Sau đó, mô hình được tinh chỉnh theo hướng dẫn có xu hướng tạo ra các câu trả lời hữu ích cho các câu lệnh không cần ví dụ trong nhiều nhiệm vụ.
So sánh và đối chiếu với:
L
thời gian chờ
Thời gian cần thiết để một mô hình xử lý dữ liệu đầu vào và tạo ra phản hồi. Phản hồi có độ trễ cao mất nhiều thời gian hơn để tạo so với phản hồi có độ trễ thấp.
Các yếu tố ảnh hưởng đến độ trễ của mô hình ngôn ngữ lớn bao gồm:
- Độ dài [mã thông báo] đầu vào và đầu ra
- Độ phức tạp của mô hình
- Cơ sở hạ tầng mà mô hình chạy trên đó
Việc tối ưu hoá độ trễ là rất quan trọng để tạo ra các ứng dụng có khả năng phản hồi và thân thiện với người dùng.
LLM
Từ viết tắt của mô hình ngôn ngữ lớn.
Đánh giá LLM
Một bộ chỉ số và điểm chuẩn để đánh giá hiệu suất của các mô hình ngôn ngữ lớn (LLM). Ở cấp độ cao, các hoạt động đánh giá LLM:
- Giúp các nhà nghiên cứu xác định những khía cạnh mà LLM cần cải thiện.
- Hữu ích trong việc so sánh các LLM khác nhau và xác định LLM phù hợp nhất cho một nhiệm vụ cụ thể.
- Giúp đảm bảo rằng các LLM an toàn và có đạo đức khi sử dụng.
Hãy xem Mô hình ngôn ngữ lớn (LLM) trong Khoá học học máy ứng dụng để biết thêm thông tin.
LoRA
Viết tắt của Khả năng thích ứng với thứ hạng thấp.
Khả năng thích ứng cấp thấp (LoRA)
Một kỹ thuật tiết kiệm tham số để điều chỉnh mà "đóng băng" các trọng số được huấn luyện trước của mô hình (để không thể sửa đổi nữa) rồi chèn một nhóm nhỏ các trọng số có thể huấn luyện vào mô hình. Tập hợp các trọng số có thể huấn luyện này (còn được gọi là "ma trận cập nhật") nhỏ hơn đáng kể so với mô hình cơ sở và do đó, việc huấn luyện sẽ diễn ra nhanh hơn nhiều.
LoRA mang lại những lợi ích sau:
- Cải thiện chất lượng dự đoán của một mô hình cho miền mà hoạt động tinh chỉnh được áp dụng.
- Tinh chỉnh nhanh hơn so với các kỹ thuật yêu cầu tinh chỉnh tất cả các tham số của một mô hình.
- Giảm chi phí tính toán của suy luận bằng cách cho phép phân phát đồng thời nhiều mô hình chuyên biệt dùng chung cùng một mô hình cơ sở.
M
bản dịch máy
Sử dụng phần mềm (thường là một mô hình học máy) để chuyển đổi văn bản từ ngôn ngữ này sang ngôn ngữ khác, ví dụ: từ tiếng Anh sang tiếng Nhật.
độ chính xác trung bình tại k (mAP@k)
Giá trị trung bình thống kê của tất cả các điểm độ chính xác trung bình tại k trên một tập dữ liệu xác thực. Một cách sử dụng độ chính xác trung bình tại k là đánh giá chất lượng của các đề xuất do hệ thống đề xuất tạo ra.
Mặc dù cụm từ "giá trị trung bình" nghe có vẻ dư thừa, nhưng tên của chỉ số này là phù hợp. Sau tất cả, chỉ số này tìm ra giá trị trung bình của nhiều giá trị độ chính xác trung bình tại k.
mixture of experts
Một lược đồ giúp tăng hiệu quả của mạng nơ-ron bằng cách chỉ sử dụng một tập hợp con các tham số (được gọi là chuyên gia) để xử lý một mã thông báo hoặc ví dụ đầu vào nhất định. Một mạng kiểm soát sẽ định tuyến từng mã thông báo hoặc ví dụ đầu vào đến(các) chuyên gia phù hợp.
Để biết thông tin chi tiết, hãy xem một trong hai bài viết sau:
- Mạng nơ-ron cực lớn: Lớp kết hợp các chuyên gia có cổng thưa thớt
- Mô hình Mixture-of-Experts với tính năng Định tuyến lựa chọn của chuyên gia
MMIT
Từ viết tắt của mô hình được tinh chỉnh bằng hướng dẫn đa phương thức.
mô hình xếp tầng
Một hệ thống chọn mô hình lý tưởng cho một truy vấn suy luận cụ thể.
Hãy tưởng tượng một nhóm các mô hình, từ rất lớn (nhiều tham số) đến nhỏ hơn nhiều (ít tham số hơn nhiều). Các mô hình rất lớn tiêu thụ nhiều tài nguyên điện toán hơn tại thời điểm suy luận so với các mô hình nhỏ hơn. Tuy nhiên, các mô hình rất lớn thường có thể suy luận các yêu cầu phức tạp hơn so với các mô hình nhỏ hơn. Việc xếp tầng mô hình xác định độ phức tạp của truy vấn suy luận, sau đó chọn mô hình phù hợp để thực hiện suy luận. Động lực chính cho việc xếp tầng mô hình là giảm chi phí suy luận bằng cách thường chọn các mô hình nhỏ hơn và chỉ chọn một mô hình lớn hơn cho các truy vấn phức tạp hơn.
Hãy tưởng tượng rằng một mô hình nhỏ chạy trên điện thoại và một phiên bản lớn hơn của mô hình đó chạy trên một máy chủ từ xa. Việc xếp tầng mô hình hiệu quả giúp giảm chi phí và độ trễ bằng cách cho phép mô hình nhỏ hơn xử lý các yêu cầu đơn giản và chỉ gọi mô hình từ xa để xử lý các yêu cầu phức tạp.
Xem thêm bộ định tuyến mô hình.
bộ định tuyến mô hình
Thuật toán xác định mô hình lý tưởng cho suy luận trong phân tầng mô hình. Bản thân bộ định tuyến mô hình thường là một mô hình học máy, dần dần học cách chọn mô hình tốt nhất cho một dữ liệu đầu vào nhất định. Tuy nhiên, đôi khi bộ định tuyến mô hình có thể là một thuật toán đơn giản hơn, không phải thuật toán học máy.
MOE
Từ viết tắt của mixture of experts (tạm dịch: hỗn hợp chuyên gia).
MT
Từ viết tắt của bản dịch máy.
Không
Nano
Một mô hình Gemini tương đối nhỏ được thiết kế để sử dụng trên thiết bị. Hãy xem bài viết Gemini Nano để biết thông tin chi tiết.
không có câu trả lời nào đúng (NORA)
Một câu lệnh có nhiều phản hồi chính xác. Ví dụ: câu lệnh sau đây không có câu trả lời nào đúng:
Kể cho tôi nghe một chuyện cười hài hước về voi.
Đánh giá câu trả lời cho những lời nhắc không có câu trả lời đúng duy nhất thường mang tính chủ quan hơn nhiều so với việc đánh giá những lời nhắc có một câu trả lời đúng duy nhất. Ví dụ: để đánh giá một câu chuyện cười về con voi, bạn cần có một cách thức có hệ thống để xác định mức độ hài hước của câu chuyện đó.
NORA
Viết tắt của không có câu trả lời đúng.
Notebook LM
Một công cụ dựa trên Gemini cho phép người dùng tải tài liệu lên rồi dùng câu lệnh để đặt câu hỏi, tóm tắt hoặc sắp xếp những tài liệu đó. Ví dụ: một tác giả có thể tải nhiều truyện ngắn lên và yêu cầu NotebookLM tìm ra các chủ đề chung hoặc xác định truyện nào sẽ phù hợp nhất để làm phim.
O
một câu trả lời đúng (ORA)
Một câu lệnh có một phản hồi chính xác. Ví dụ: hãy xem xét câu lệnh sau:
Đúng hay sai: Sao Thổ lớn hơn sao Hoả.
Câu trả lời đúng duy nhất là đúng.
Tương phản với không có câu trả lời đúng.
đặt câu lệnh kèm một ví dụ
Một câu lệnh chứa một ví dụ minh hoạ cách mô hình ngôn ngữ lớn nên phản hồi. Ví dụ: câu lệnh sau đây chứa một ví dụ cho thấy cách mô hình ngôn ngữ lớn nên trả lời một truy vấn.
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
So sánh và đối chiếu câu lệnh một lần với các thuật ngữ sau:
ORA
Chữ viết tắt của một câu trả lời đúng.
Điểm
điều chỉnh hiệu quả về tham số
Một tập hợp các kỹ thuật để điều chỉnh một mô hình ngôn ngữ được huấn luyện trước (PLM) lớn một cách hiệu quả hơn so với việc điều chỉnh toàn bộ. Việc tinh chỉnh hiệu quả về tham số thường tinh chỉnh ít tham số hơn nhiều so với việc tinh chỉnh toàn bộ, nhưng thường tạo ra một mô hình ngôn ngữ lớn hoạt động tốt (hoặc gần như tốt) như một mô hình ngôn ngữ lớn được xây dựng từ việc tinh chỉnh toàn bộ.
So sánh và đối chiếu phương pháp tinh chỉnh hiệu quả về tham số với:
Phương pháp điều chỉnh hiệu quả về tham số còn được gọi là điều chỉnh tinh vi hiệu quả về tham số.
Pax
Một khung lập trình được thiết kế để huấn luyện mạng nơron mô hình quy mô lớn đến mức chúng trải rộng trên nhiều TPU chip tăng tốc lát hoặc nhóm.
Pax được xây dựng dựa trên Flax, được xây dựng dựa trên JAX.
PLM
Từ viết tắt của mô hình ngôn ngữ được huấn luyện trước.
mô hình được huấn luyện sau
Thuật ngữ được định nghĩa một cách chung chung, thường dùng để chỉ một mô hình được huấn luyện trước đã trải qua một số bước xử lý hậu kỳ, chẳng hạn như một hoặc nhiều bước sau:
mô hình được huấn luyện trước
Mặc dù thuật ngữ này có thể đề cập đến bất kỳ mô hình được huấn luyện nào hoặc vectơ nhúng được huấn luyện, nhưng hiện tại, mô hình được huấn luyện trước thường đề cập đến một mô hình ngôn ngữ lớn được huấn luyện hoặc một dạng mô hình AI tạo sinh được huấn luyện khác.
Xem thêm mô hình cơ sở và mô hình nền tảng.
huấn luyện trước
Quá trình huấn luyện ban đầu của một mô hình trên một tập dữ liệu lớn. Một số mô hình được huấn luyện trước là những mô hình khổng lồ vụng về và thường phải được tinh chỉnh thông qua quá trình huấn luyện bổ sung. Ví dụ: Các chuyên gia về học máy có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản khổng lồ, chẳng hạn như tất cả các trang tiếng Anh trong Wikipedia. Sau khi được huấn luyện trước, mô hình thu được có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật nào sau đây:
Pro
Một mô hình Gemini có ít tham số hơn Ultra nhưng nhiều tham số hơn Nano. Hãy xem phần Gemini Pro để biết thông tin chi tiết.
prompt
Mọi văn bản được nhập làm dữ liệu đầu vào cho một mô hình ngôn ngữ lớn để điều kiện hoá mô hình hoạt động theo một cách nhất định. Câu lệnh có thể ngắn như một cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Câu lệnh thuộc nhiều danh mục, bao gồm cả những danh mục được trình bày trong bảng sau:
| Danh mục câu lệnh | Ví dụ: | Ghi chú |
|---|---|---|
| Câu hỏi | Chim bồ câu có thể bay nhanh đến mức nào? | |
| Hướng dẫn | Viết một bài thơ hài hước về hoạt động kinh doanh chênh lệch giá. | Một câu lệnh yêu cầu mô hình ngôn ngữ lớn làm một việc gì đó. |
| Ví dụ: | Dịch mã Markdown sang HTML. Ví dụ:
Markdown: * list item HTML: <ul> <li>list item</li> </ul> |
Câu đầu tiên trong câu lệnh ví dụ này là một chỉ dẫn. Phần còn lại của câu lệnh là ví dụ. |
| Vai trò | Giải thích lý do phương pháp hạ dốc được dùng trong quá trình huấn luyện máy học cho bằng Tiến sĩ Vật lý. | Phần đầu tiên của câu là một chỉ dẫn; cụm từ "đến bằng Tiến sĩ Vật lý" là phần vai trò. |
| Đầu vào một phần để mô hình hoàn tất | Thủ tướng Vương quốc Anh sống tại | Một phần của câu lệnh nhập có thể kết thúc đột ngột (như ví dụ này) hoặc kết thúc bằng dấu gạch dưới. |
Một mô hình AI tạo sinh có thể phản hồi một câu lệnh bằng văn bản, mã, hình ảnh, dữ liệu nhúng, video... gần như mọi thứ.
học dựa trên câu lệnh
Một khả năng của một số mô hình cho phép chúng điều chỉnh hành vi để phản hồi nội dung văn bản tuỳ ý (câu lệnh). Trong mô hình học dựa trên câu lệnh điển hình, mô hình ngôn ngữ lớn sẽ phản hồi một câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử người dùng nhập câu lệnh sau:
Tóm tắt Định luật chuyển động thứ ba của Newton.
Một mô hình có khả năng học dựa trên câu lệnh không được huấn luyện cụ thể để trả lời câu lệnh trước đó. Thay vào đó, mô hình này "biết" rất nhiều thông tin thực tế về vật lý, rất nhiều thông tin về các quy tắc ngôn ngữ chung và rất nhiều thông tin về những gì tạo nên câu trả lời hữu ích nói chung. Kiến thức đó là đủ để đưa ra một câu trả lời (hy vọng là) hữu ích. Ý kiến phản hồi bổ sung của con người ("Câu trả lời đó quá phức tạp" hoặc "Phản ứng là gì?") cho phép một số hệ thống học tập dựa trên câu lệnh dần cải thiện mức độ hữu ích của câu trả lời.
thiết kế câu lệnh
Từ đồng nghĩa với thiết kế câu lệnh.
thiết kế câu lệnh
Nghệ thuật tạo ra câu lệnh để nhận được câu trả lời mong muốn từ mô hình ngôn ngữ lớn. Con người thực hiện kỹ thuật tạo câu lệnh. Viết câu lệnh có cấu trúc rõ ràng là một phần quan trọng để đảm bảo mô hình ngôn ngữ lớn đưa ra câu trả lời hữu ích. Kỹ thuật tạo câu lệnh phụ thuộc vào nhiều yếu tố, bao gồm:
- Tập dữ liệu được dùng để huấn luyện trước và có thể điều chỉnh mô hình ngôn ngữ lớn.
- Nhiệt độ và các tham số giải mã khác mà mô hình sử dụng để tạo phản hồi.
Thiết kế câu lệnh là một từ đồng nghĩa với thiết kế câu lệnh.
Hãy xem phần Giới thiệu về cách thiết kế câu lệnh để biết thêm thông tin về cách viết câu lệnh hữu ích.
tập câu lệnh
Một nhóm câu lệnh để đánh giá một mô hình ngôn ngữ lớn. Ví dụ: hình minh hoạ sau đây cho thấy một tập hợp câu lệnh gồm 3 câu lệnh:
Một bộ câu lệnh tốt bao gồm một tập hợp câu lệnh đủ "rộng" để đánh giá kỹ lưỡng độ an toàn và tính hữu ích của một mô hình ngôn ngữ lớn.
Xem thêm tập hợp phản hồi.
điều chỉnh câu lệnh
Cơ chế điều chỉnh hiệu quả tham số giúp tìm hiểu "tiền tố" mà hệ thống thêm vào trước câu lệnh thực tế.
Một biến thể của phương pháp điều chỉnh câu lệnh (đôi khi được gọi là điều chỉnh tiền tố) là thêm tiền tố vào mọi lớp. Ngược lại, hầu hết các phương pháp điều chỉnh câu lệnh chỉ thêm một tiền tố vào lớp đầu vào.
Điểm
văn bản tham khảo
Câu trả lời của chuyên gia cho một câu lệnh. Ví dụ: với câu lệnh sau:
Dịch câu hỏi "Bạn tên gì?" từ tiếng Anh sang tiếng Pháp.
Câu trả lời của chuyên gia có thể là:
Comment vous appelez-vous?
Nhiều chỉ số (chẳng hạn như ROUGE) đo lường mức độ văn bản tham chiếu khớp với văn bản do mô hình học máy tạo.
Học tăng cường từ phản hồi của con người (RLHF)
Sử dụng ý kiến phản hồi của nhân viên đánh giá để cải thiện chất lượng phản hồi của mô hình. Ví dụ: cơ chế RLHF có thể yêu cầu người dùng đánh giá chất lượng phản hồi của mô hình bằng biểu tượng 👍 hoặc 👎. Sau đó, hệ thống có thể điều chỉnh các câu trả lời trong tương lai dựa trên ý kiến phản hồi đó.
phản hồi
Văn bản, hình ảnh, âm thanh hoặc video mà mô hình AI tạo sinh suy luận. Nói cách khác, câu lệnh là đầu vào cho một mô hình AI tạo sinh và câu trả lời là đầu ra.
tập hợp phản hồi
Tập hợp các câu trả lời mà mô hình ngôn ngữ lớn trả về cho một tập hợp câu lệnh đầu vào.
đặt câu lệnh theo vai trò
Một câu lệnh, thường bắt đầu bằng đại từ bạn, yêu cầu mô hình AI tạo sinh giả vờ là một người hoặc một vai trò cụ thể khi tạo phản hồi. Câu lệnh đóng vai có thể giúp mô hình AI tạo sinh có được "tư duy" phù hợp để tạo ra câu trả lời hữu ích hơn. Ví dụ: bất kỳ câu lệnh nào sau đây về vai trò đều có thể phù hợp, tuỳ thuộc vào loại câu trả lời mà bạn đang tìm kiếm:
Bạn có bằng tiến sĩ khoa học máy tính.
Bạn là một kỹ sư phần mềm thích giải thích kiên nhẫn về Python cho những sinh viên mới học lập trình.
Bạn là một anh hùng hành động với một bộ kỹ năng lập trình rất đặc biệt. Hãy đảm bảo với tôi rằng bạn sẽ tìm thấy một mục cụ thể trong danh sách Python.
S
điều chỉnh câu lệnh mềm
Một kỹ thuật điều chỉnh mô hình ngôn ngữ lớn cho một nhiệm vụ cụ thể mà không cần điều chỉnh chính xác tốn nhiều tài nguyên. Thay vì huấn luyện lại tất cả trọng số trong mô hình, tính năng điều chỉnh lời nhắc linh hoạt sẽ tự động điều chỉnh một lời nhắc để đạt được cùng một mục tiêu.
Với một câu lệnh dạng văn bản, hoạt động tinh chỉnh câu lệnh mềm thường thêm các mục nhúng mã thông báo bổ sung vào câu lệnh và sử dụng phương pháp truyền ngược để tối ưu hoá dữ liệu đầu vào.
Câu lệnh "cứng" chứa các mã thông báo thực tế thay vì các mã thông báo được nhúng.
T
nhiệt độ
Một siêu tham số kiểm soát mức độ ngẫu nhiên của đầu ra của một mô hình. Nhiệt độ càng cao thì kết quả càng ngẫu nhiên, còn nhiệt độ càng thấp thì kết quả càng ít ngẫu nhiên.
Việc chọn nhiệt độ tốt nhất phụ thuộc vào ứng dụng cụ thể và/hoặc các giá trị chuỗi.
U
Ultra
Mô hình Gemini có các tham số nhiều nhất. Hãy xem phần Gemini Ultra để biết thông tin chi tiết.
V
Đỉnh
Nền tảng của Google Cloud dành cho AI và học máy. Vertex cung cấp các công cụ và cơ sở hạ tầng để xây dựng, triển khai và quản lý các ứng dụng AI, bao gồm cả quyền truy cập vào các mô hình Gemini.Z
đặt câu lệnh không kèm ví dụ
Một câu lệnh không cung cấp ví dụ về cách bạn muốn mô hình ngôn ngữ lớn phản hồi. Ví dụ:
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi bạn muốn LLM trả lời. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
Mô hình ngôn ngữ lớn có thể trả lời bằng bất kỳ nội dung nào sau đây:
- Rupee
- INR
- ₹
- Đồng rupi Ấn Độ
- Đồng rupee
- Đồng rupi Ấn Độ
Tất cả các câu trả lời đều đúng, mặc dù bạn có thể thích một định dạng cụ thể.
So sánh và đối chiếu câu lệnh không có ví dụ với các thuật ngữ sau: