Bảng thuật ngữ về công nghệ máy học: AI tạo sinh

Trang này chứa các thuật ngữ trong bảng thuật ngữ về AI tạo sinh. Để biết tất cả các thuật ngữ trong bảng thuật ngữ, hãy nhấp vào đây.

Đáp

mô hình hồi quy tự động

#language
#image
#AI tạo sinh

Một model dự đoán nội dung dự đoán dựa trên các dự đoán trước đó của chính nó. Ví dụ: các mô hình ngôn ngữ tự động hồi quy sẽ dự đoán mã thông báo tiếp theo dựa trên các mã thông báo dự đoán trước đó. Tất cả mô hình ngôn ngữ lớn dựa trên Transformer đều tự động hồi quy.

Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự động hồi quy vì các mô hình này tạo hình ảnh trong một lượt chuyển tiếp chứ không lặp lại trong các bước. Tuy nhiên, một số mô hình tạo hình ảnh nhất định có tự động hồi quy vì các mô hình này tạo hình ảnh theo các bước.

C

nhắc chuỗi cân nhắc

#language
#AI tạo sinh

Một kỹ thuật kỹ thuật gợi ý khuyến khích một mô hình ngôn ngữ lớn (LLM) giải thích lý do của mô hình đó theo từng bước. Ví dụ: hãy xem xét câu lệnh sau đây và đặc biệt chú ý đến câu thứ hai:

Người lái xe sẽ phải trải qua bao nhiêu g lực khi lái xe từ 0 đến 100 dặm mỗi giờ trong 7 giây? Trong câu trả lời, hãy trình bày tất cả các phép tính liên quan.

Câu trả lời của LLM có thể sẽ:

  • Hiển thị một chuỗi các công thức vật lý, đưa các giá trị 0, 60 và 7 vào các vị trí thích hợp.
  • Giải thích lý do chọn các công thức đó và ý nghĩa của các biến.

Việc nhắc suy nghĩ theo chuỗi sẽ buộc LLM thực hiện tất cả các phép tính, từ đó có thể dẫn đến câu trả lời chính xác hơn. Ngoài ra, việc nhắc theo chuỗi suy nghĩ cho phép người dùng kiểm tra các bước của LLM để xác định xem câu trả lời có hợp lý hay không.

trò chuyện

#language
#AI tạo sinh

Nội dung của cuộc đối thoại liên tiếp với hệ thống học máy, thường là mô hình ngôn ngữ lớn. Hoạt động tương tác trước đó trong một cuộc trò chuyện (nội dung bạn nhập và cách mô hình ngôn ngữ lớn phản hồi) sẽ trở thành ngữ cảnh cho các phần tiếp theo của cuộc trò chuyện.

chatbot là một ứng dụng của một mô hình ngôn ngữ lớn.

nhúng ngôn ngữ theo ngữ cảnh

#language
#AI tạo sinh

Nội dung được nhúng gần với các từ và cụm từ "hiểu" nhất theo cách mà người bản ngữ có thể làm. Nội dung nhúng bằng ngôn ngữ theo ngữ cảnh có thể hiểu cú pháp, ngữ nghĩa và ngữ cảnh phức tạp.

Ví dụ: hãy xem xét việc nhúng từ cow trong tiếng Anh. Các mục nhúng cũ hơn như word2vec có thể biểu thị các từ tiếng Anh sao cho khoảng cách trong không gian nhúng từ bò đến bò đực tương tự như khoảng cách từ ewe (cừu cái) đến ram (cừu đực) hoặc từ nữ đến đực. Nội dung nhúng bằng ngôn ngữ theo ngữ cảnh có thể tiến thêm một bước nữa bằng cách nhận ra rằng người nói tiếng Anh đôi khi sử dụng từ cow (bò) để ám chỉ bò cái hoặc bò.

cửa sổ ngữ cảnh

#language
#AI tạo sinh

Số lượng mã thông báo mà một mô hình có thể xử lý trong một lời nhắc nhất định. Cửa sổ ngữ cảnh càng lớn, mô hình càng có thể sử dụng nhiều thông tin để cung cấp phản hồi nhất quán và nhất quán cho lời nhắc.

D

nhắc nhở trực tiếp

#language
#AI tạo sinh

Từ đồng nghĩa với lời nhắc tự động đăng ký.

tinh lọc

#AI tạo sinh

Quá trình giảm kích thước của một model (gọi là model) thành một mô hình nhỏ hơn (còn gọi là model) mô phỏng các dự đoán của mô hình ban đầu một cách trung thực nhất có thể. Tính năng lọc rất hữu ích vì mô hình nhỏ hơn có hai lợi ích chính so với mô hình lớn hơn (giáo viên):

  • Thời gian suy luận nhanh hơn
  • Giảm mức sử dụng bộ nhớ và năng lượng

Tuy nhiên, dự đoán của học sinh thường không tốt bằng dự đoán của giáo viên.

Tinh lọc huấn luyện mô hình học viên để giảm thiểu hàm mất dữ liệu dựa trên sự khác biệt giữa kết quả dự đoán của mô hình học viên và giáo viên.

So sánh và đối chiếu quá trình tinh lọc với các thuật ngữ sau:

F

nhắc sau một vài lần

#language
#AI tạo sinh

Một lời nhắc chứa nhiều ví dụ (một "nhiều") ví dụ minh hoạ cách mô hình ngôn ngữ lớn sẽ phản hồi. Ví dụ: câu lệnh dài sau đây chứa hai ví dụ minh hoạ một mô hình ngôn ngữ lớn về cách trả lời một truy vấn.

Các thành phần trong một câu lệnh Ghi chú
Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? Câu hỏi mà bạn muốn LLM trả lời.
Pháp: EUR Một ví dụ.
Vương quốc Anh: GBP Một ví dụ khác.
Ấn Độ: Truy vấn thực tế.

Yêu cầu nhắc nhanh một lần thường mang lại kết quả mong muốn hơn so với lời nhắc một lần và lời nhắc một lần. Tuy nhiên, lời nhắc chỉ cần thực hiện vài lần sẽ yêu cầu lời nhắc dài hơn.

Lời nhắc trong vài lần thực hiện là một hình thức học vài lần áp dụng cho hình thức học qua câu lệnh.

tinh chỉnh

#language
#image
#AI tạo sinh

Lượt huấn luyện thứ hai, dành riêng cho từng tác vụ được thực hiện trên một mô hình luyện sẵn để tinh chỉnh các tham số cho một trường hợp sử dụng cụ thể. Ví dụ: trình tự huấn luyện đầy đủ cho một số mô hình ngôn ngữ lớn như sau:

  1. Đào tạo trước: Đào tạo một mô hình ngôn ngữ lớn trên một tập dữ liệu chung rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
  2. Tinh chỉnh: Huấn luyện mô hình đã được huấn luyện trước để thực hiện một tác vụ cụ thể, chẳng hạn như phản hồi các truy vấn y tế. Việc tinh chỉnh thường bao gồm hàng trăm hoặc hàng nghìn ví dụ tập trung vào tác vụ cụ thể.

Một ví dụ khác về trình tự huấn luyện đầy đủ cho một mô hình hình ảnh lớn như sau:

  1. Đào tạo trước: Đào tạo một mô hình hình ảnh lớn trên một tập dữ liệu hình ảnh chung rộng lớn, chẳng hạn như tất cả hình ảnh trong Wikimedia commons.
  2. Tinh chỉnh: Huấn luyện mô hình được huấn luyện trước để thực hiện một tác vụ cụ thể, chẳng hạn như tạo hình ảnh cá voi sát thủ.

Việc tinh chỉnh có thể đòi hỏi bất kỳ tổ hợp nào của các chiến lược sau:

  • Sửa đổi tất cả tham số hiện có của mô hình luyện sẵn. Quá trình này đôi khi được gọi là tinh chỉnh đầy đủ.
  • Chỉ sửa đổi một số tham số hiện có của mô hình luyện sẵn (thường là các lớp gần nhất với lớp đầu ra), trong khi giữ nguyên các tham số hiện có khác (thường là các lớp gần nhất với lớp đầu vào). Xem phần điều chỉnh hiệu quả tham số.
  • Thêm các lớp khác, thường là ở trên các lớp hiện có gần với lớp đầu ra nhất.

Tinh chỉnh là một hình thức học tập chuyển giao. Do đó, tính năng tinh chỉnh có thể sử dụng một hàm tổn hao khác hoặc một loại mô hình khác với các hàm dùng để huấn luyện mô hình được huấn luyện trước. Ví dụ: bạn có thể tinh chỉnh một mô hình hình ảnh lớn đã được huấn luyện trước để tạo một mô hình hồi quy trả về số lượng chim trong một hình ảnh đầu vào.

So sánh và đối chiếu tính năng tinh chỉnh với các thuật ngữ sau:

G

AI tạo sinh

#language
#image
#AI tạo sinh

Một trường biến đổi mới nổi chưa có định nghĩa chính thức. Tuy nhiên, hầu hết các chuyên gia đều đồng ý rằng mô hình AI tạo sinh có thể tạo ra nội dung đáp ứng tất cả những điều sau:

  • phức tạp
  • mạch lạc
  • gốc

Ví dụ: Một mô hình AI tạo sinh có thể tạo các bài tiểu luận hoặc hình ảnh phức tạp.

Một số công nghệ trước đây, bao gồm cả LSTM và RNN, cũng có thể tạo nội dung nguyên gốc và nhất quán. Một số chuyên gia xem những công nghệ cũ này là AI tạo sinh, trong khi một số khác cho rằng AI tạo sinh thực sự đòi hỏi đầu ra phức tạp hơn so với những công nghệ trước đó có thể tạo ra.

Trái ngược với công nghệ học máy dự đoán.

I

học theo ngữ cảnh

#language
#AI tạo sinh

Từ đồng nghĩa với lời nhắc vài lần.

điều chỉnh hướng dẫn

#AI tạo sinh

Một dạng điều chỉnh tinh chỉnh giúp cải thiện khả năng tuân theo hướng dẫn của mô hình AI tạo sinh. Quá trình điều chỉnh lệnh bao gồm việc huấn luyện một mô hình theo một loạt các câu lệnh hướng dẫn, thường bao gồm nhiều thao tác. Sau đó, mô hình được điều chỉnh theo hướng dẫn thu được sẽ có xu hướng tạo ra các phản hồi hữu ích cho lời nhắc cài đặt tự động trong nhiều tác vụ.

So sánh và đối chiếu với:

L

LoRA

#language
#AI tạo sinh

Từ viết tắt của Khả năng thích ứng cấp thấp.

Khả năng thích ứng cấp thấp (LoRA)

#language
#AI tạo sinh

Thuật toán để thực hiện điều chỉnh hiệu quả tham số nhằm tinh chỉnh một tập hợp con của các tham số của mô hình ngôn ngữ lớn. LoRA mang lại các lợi ích sau:

  • Tinh chỉnh nhanh hơn so với các kỹ thuật yêu cầu tinh chỉnh tất cả các tham số của mô hình.
  • Giảm chi phí tính toán của suy luận trong mô hình đã tinh chỉnh.

Mô hình được điều chỉnh bằng LoRA sẽ duy trì hoặc cải thiện chất lượng của các dự đoán.

LoRA cho phép nhiều phiên bản chuyên biệt của một mô hình.

M

mô hình phân tầng

#AI tạo sinh

Một hệ thống chọn model lý tưởng cho một truy vấn dự đoán cụ thể.

Hãy tưởng tượng một nhóm mô hình, từ rất lớn (rất nhiều tham số) đến nhỏ hơn nhiều (ít tham số hơn nhiều). Các mô hình rất lớn cần nhiều tài nguyên điện toán hơn tại thời điểm dự đoán so với các mô hình nhỏ hơn. Tuy nhiên, các mô hình rất lớn thường có thể dự đoán các yêu cầu phức tạp hơn các mô hình nhỏ hơn. Phân tầng mô hình xác định độ phức tạp của truy vấn suy luận, sau đó chọn mô hình thích hợp để thực hiện dự đoán. Động lực chính của việc phân tầng mô hình là giảm chi phí dự đoán bằng cách thường chọn các mô hình nhỏ hơn và chỉ chọn mô hình lớn hơn cho các truy vấn phức tạp hơn.

Hãy tưởng tượng rằng một mô hình nhỏ chạy trên điện thoại, còn phiên bản lớn hơn của mô hình đó chạy trên một máy chủ từ xa. Việc phân tầng mô hình hiệu quả giúp giảm chi phí và độ trễ bằng cách cho phép mô hình nhỏ hơn xử lý các yêu cầu đơn giản và chỉ gọi mô hình từ xa để xử lý các yêu cầu phức tạp.

Xem thêm về bộ định tuyến mẫu.

bộ định tuyến mẫu

#AI tạo sinh

Thuật toán xác định model lý tưởng cho model trong model. Bản thân bộ định tuyến mô hình thường là một mô hình học máy tự học cách chọn mô hình phù hợp nhất cho một đầu vào nhất định. Tuy nhiên, bộ định tuyến mô hình đôi khi có thể là một thuật toán đơn giản hơn và không phải thuật toán học máy.

O

nhắc một lần

#language
#AI tạo sinh

Một lời nhắc chứa một ví dụ minh hoạ cách mô hình ngôn ngữ lớn cần phản hồi. Ví dụ: lời nhắc sau đây chứa một ví dụ cho thấy một mô hình ngôn ngữ lớn về cách nó sẽ trả lời một truy vấn.

Các thành phần trong một câu lệnh Ghi chú
Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? Câu hỏi mà bạn muốn LLM trả lời.
Pháp: EUR Một ví dụ.
Ấn Độ: Truy vấn thực tế.

So sánh và đối chiếu lời nhắc một lần với các cụm từ sau:

Điểm

điều chỉnh hiệu quả thông số

#language
#AI tạo sinh

Một tập hợp các kỹ thuật để tinh chỉnh một mô hình ngôn ngữ được huấn luyện trước (PLM) hiệu quả hơn so với tính năng điều chỉnh đầy đủ. Tính năng điều chỉnh hiệu quả tham số thường tinh chỉnh ít tham số hơn nhiều so với tính năng tinh chỉnh đầy đủ, nhưng thường tạo ra một mô hình ngôn ngữ lớn hoạt động hiệu quả (hoặc gần như tương đương) như một mô hình ngôn ngữ lớn được tạo từ việc tinh chỉnh toàn bộ.

So sánh và đối chiếu việc điều chỉnh hiệu quả về thông số bằng:

Điều chỉnh hiệu quả thông số còn được gọi là tinh chỉnh hiệu quả thông số.

PLM (Người quản lý hoạt động kinh doanh)

#language
#AI tạo sinh

Tên viết tắt của mô hình ngôn ngữ luyện sẵn.

mô hình luyện sẵn

#language
#image
#AI tạo sinh

Các mô hình hoặc thành phần của mô hình (chẳng hạn như vectơ nhúng) đã được huấn luyện. Đôi khi, bạn sẽ đưa các vectơ nhúng đã qua huấn luyện vào một mạng nơron. Vào những lúc khác, mô hình của bạn sẽ tự huấn luyện các vectơ nhúng thay vì dựa vào các thành phần nhúng đã huấn luyện trước.

Thuật ngữ mô hình ngôn ngữ được huấn luyện trước đề cập đến một mô hình ngôn ngữ lớn đã trải qua quá trình đào tạo trước.

huấn luyện trước

#language
#image
#AI tạo sinh

Huấn luyện ban đầu của mô hình trên một tập dữ liệu lớn. Một số mô hình huấn luyện trước là những gã khổng lồ vụng về và thường phải được tinh chỉnh thông qua việc huấn luyện thêm. Ví dụ: các chuyên gia học máy có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản khổng lồ, chẳng hạn như mọi trang tiếng Anh trên Wikipedia. Sau khi huấn luyện trước, mô hình thu được có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật nào sau đây:

lời nhắc

#language
#AI tạo sinh

Bất kỳ văn bản nào được nhập làm dữ liệu đầu vào cho một mô hình ngôn ngữ lớn để điều chỉnh mô hình đó hoạt động theo một cách nhất định. Lời nhắc có thể ngắn như một cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Lời nhắc thuộc nhiều danh mục, bao gồm cả những danh mục xuất hiện trong bảng sau:

Danh mục lời nhắc Ví dụ: Ghi chú
Câu hỏi Một chú chim bồ câu có thể bay nhanh đến mức nào?
Hướng dẫn Viết một bài thơ hài hước về hành vi kiếm lời nhờ chênh lệch giá. Một câu lệnh yêu cầu mô hình ngôn ngữ lớn làm gì đó.
Ví dụ: Dịch mã Markdown sang HTML. Ví dụ:
Markdown: * mục danh sách
HTML: <ul> <li>mục danh sách</li> </ul>		 Câu đầu tiên trong câu lệnh trong ví dụ này là một hướng dẫn. Phần còn lại của lời nhắc là ví dụ.
Vai trò Giải thích lý do phương pháp giảm độ dốc chuyển màu được dùng trong quá trình đào tạo học máy để lấy bằng Tiến sĩ Vật lý. Phần đầu của câu là phần hướng dẫn; cụm từ "đối với Tiến sĩ Vật lý" là phần vai trò.
Một phần dữ liệu đầu vào để mô hình hoàn tất Thủ tướng Vương quốc Anh sinh sống tại Lời nhắc nhập một phần có thể kết thúc đột ngột (như ví dụ này) hoặc kết thúc bằng dấu gạch dưới.

Mô hình AI tạo sinh có thể phản hồi câu lệnh bằng văn bản, mã, hình ảnh, nội dung nhúng, video... hầu như mọi nội dung.

học tập dựa trên câu lệnh

#language
#AI tạo sinh

Khả năng của một số mô hình cho phép chúng điều chỉnh hành vi để phản hồi việc nhập văn bản tuỳ ý (lời nhắc). Trong một mô hình học tập thông thường dựa trên câu lệnh, một mô hình ngôn ngữ lớn sẽ phản hồi câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử người dùng nhập câu lệnh sau:

Tóm tắt Định luật chuyển động thứ ba của Newton.

Một mô hình có khả năng học dựa trên câu lệnh không được huấn luyện riêng để trả lời câu lệnh trước. Thay vào đó, mô hình này "biết" rất nhiều thông tin về vật lý, rất nhiều về các quy tắc ngôn ngữ chung và rất nhiều về những yếu tố tạo nên những câu trả lời hữu ích nhìn chung. Kiến thức đó là đủ để cung cấp câu trả lời (hy vọng) hữu ích. Ý kiến phản hồi bổ sung của người dùng ("Câu trả lời đó quá phức tạp." hoặc "Phản ứng là gì?") cho phép một số hệ thống học tập dựa trên câu lệnh từng bước cải thiện tính hữu ích của câu trả lời.

thiết kế câu lệnh

#language
#AI tạo sinh

Từ đồng nghĩa với kỹ thuật nhắc nhở.

thiết kế câu lệnh

#language
#AI tạo sinh

Nghệ thuật tạo lời nhắc để lấy câu trả lời mong muốn từ mô hình ngôn ngữ lớn. Con người thực hiện kỹ thuật gợi ý. Việc viết câu lệnh có cấu trúc hợp lý là một phần cần thiết để đảm bảo câu trả lời hữu ích từ một mô hình ngôn ngữ lớn. Kỹ thuật đưa ra lời nhắc phụ thuộc vào nhiều yếu tố, trong đó có:

Hãy xem phần Giới thiệu về thiết kế lời nhắc để biết thêm thông tin chi tiết về cách viết lời nhắc hữu ích.

Thiết kế lời nhắc là một từ đồng nghĩa với kỹ thuật nhắc nhở.

điều chỉnh lời nhắc

#language
#AI tạo sinh

Cơ chế điều chỉnh hiệu quả tham số học một "tiền tố" mà hệ thống sẽ thêm vào lời nhắc thực tế.

Một biến thể của cách điều chỉnh lời nhắc (đôi khi được gọi là điều chỉnh tiền tố) là thêm tiền tố ở mọi lớp. Ngược lại, hầu hết việc điều chỉnh lời nhắc chỉ thêm một tiền tố vào lớp đầu vào.

R

Học tăng cường từ phản hồi của con người (RLHF)

#AI tạo sinh
#rl

Sử dụng ý kiến phản hồi của nhân viên đánh giá để cải thiện chất lượng câu trả lời của mô hình. Ví dụ: cơ chế RLHF có thể yêu cầu người dùng đánh giá chất lượng câu trả lời của mô hình bằng biểu tượng cảm xúc 👍 hoặc 👎. Sau đó, hệ thống có thể điều chỉnh các câu trả lời trong tương lai dựa trên ý kiến phản hồi đó.

lời nhắc nhập vai trò

#language
#AI tạo sinh

Một phần không bắt buộc trong lời nhắc giúp xác định đối tượng mục tiêu cho phản hồi của mô hình AI tạo sinh. Nếu không có lời nhắc vai trò, mô hình ngôn ngữ lớn sẽ cung cấp câu trả lời có thể hữu ích hoặc không hữu ích đối với người đặt câu hỏi. Với lời nhắc nhập vai trò, một mô hình ngôn ngữ lớn có thể trả lời theo cách phù hợp và hữu ích hơn cho một đối tượng mục tiêu cụ thể. Ví dụ: phần lời nhắc vai trò của các lời nhắc sau đây được in đậm:

  • Tóm tắt bài viết này cho bằng tiến sĩ kinh tế.
  • Mô tả cách thuỷ triều đối với một đứa trẻ mười tuổi.
  • Giải thích cuộc khủng hoảng tài chính năm 2008. Nói chuyện với một đứa trẻ nhỏ hoặc một chú chó săn mồi.

S

điều chỉnh lời nhắc mềm

#language
#AI tạo sinh

Một kỹ thuật để điều chỉnh mô hình ngôn ngữ lớn cho một tác vụ cụ thể mà không cần điều chỉnh chi tiết nhiều tài nguyên. Thay vì huấn luyện lại tất cả trọng số trong mô hình, tính năng điều chỉnh lời nhắc mềm sẽ tự động điều chỉnh lời nhắc để đạt được cùng một mục tiêu.

Với lời nhắc dạng văn bản, tính năng điều chỉnh lời nhắc mềm thường bổ sung các hoạt động nhúng mã thông báo bổ sung vào lời nhắc và sử dụng tính năng lan truyền ngược để tối ưu hoá dữ liệu đầu vào.

Lời nhắc "cứng" chứa mã thông báo thực thay vì nhúng mã thông báo.

T

nhiệt độ

#language
#image
#AI tạo sinh

Một siêu tham số kiểm soát mức độ ngẫu nhiên của dữ liệu đầu ra của mô hình. Nhiệt độ cao hơn dẫn đến kết quả đầu ra ngẫu nhiên nhiều hơn, trong khi nhiệt độ thấp hơn dẫn đến kết quả ngẫu nhiên ít hơn.

Việc chọn nhiệt độ tốt nhất phụ thuộc vào ứng dụng cụ thể và các thuộc tính ưu tiên của đầu ra của mô hình. Ví dụ: bạn có thể sẽ tăng nhiệt độ khi tạo một ứng dụng tạo đầu ra mẫu quảng cáo. Ngược lại, bạn có thể giảm nhiệt độ khi xây dựng một mô hình phân loại hình ảnh hoặc văn bản để cải thiện độ chính xác và tính nhất quán của mô hình.

Nhiệt độ thường được sử dụng với chiến lược softmax.

Z

yêu cầu tự động đăng ký

#language
#AI tạo sinh

Lời nhắc không cung cấp ví dụ về cách bạn muốn mô hình ngôn ngữ lớn phản hồi. Ví dụ:

Các thành phần trong một câu lệnh Ghi chú
Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? Câu hỏi mà bạn muốn LLM trả lời.
Ấn Độ: Truy vấn thực tế.

Mô hình ngôn ngữ lớn có thể phản hồi bằng bất kỳ nội dung nào sau đây:

  • Rupee
  • INR
  • ₹
  • Đồng rupi Ấn Độ
  • Rupee
  • Đồng Rupee Ấn Độ

Tất cả các câu trả lời đều đúng, mặc dù có thể bạn thích một định dạng cụ thể.

So sánh và đối chiếu lời nhắc tự động đăng ký với các cụm từ sau: