Trang này chứa các thuật ngữ bảng thuật ngữ Đánh giá ngôn ngữ. Đối với tất cả các thuật ngữ trong bảng thuật ngữ, nhấp vào đây.
A
chú ý
Một cơ chế được sử dụng trong mạng nơron cho biết tầm quan trọng của một từ cụ thể hoặc một phần của từ. Nén sự chú ý lượng thông tin mà mô hình cần để dự đoán mã thông báo/từ tiếp theo. Một cơ chế chú ý điển hình có thể bao gồm tổng có trọng số trên một tập hợp các dữ liệu đầu vào, trong đó weight cho mỗi giá trị đầu vào được tính toán bởi một phần khác của mạng nơron.
Ngoài ra, hãy tham khảo bài viết tự chú ý và tính năng tự chú ý nhiều đầu, vốn là thành phần Transformers.
bộ mã hoá tự động
Một hệ thống học cách trích xuất thông tin quan trọng nhất từ đầu vào. Bộ mã hoá tự động là sự kết hợp giữa bộ mã hoá và bộ giải mã. Bộ tự động mã hoá hoạt động theo quy trình hai bước sau đây:
- Bộ mã hoá ánh xạ đầu vào tới chiều thấp có tổn hao (thường) (trung gian).
- Bộ giải mã tạo ra phiên bản có tổn hao của đầu vào ban đầu bằng cách ánh xạ định dạng chiều thấp thành định dạng chiều cao ban đầu định dạng đầu vào.
Bộ mã hoá tự động được huấn luyện từ đầu đến cuối bằng cách yêu cầu bộ giải mã cố gắng xây dựng lại dữ liệu đầu vào ban đầu từ định dạng trung gian của bộ mã hoá chính xác nhất có thể. Vì định dạng trung gian nhỏ hơn (chiều thấp hơn) so với định dạng ban đầu, bộ mã hoá tự động bắt buộc để tìm hiểu xem thông tin nào trong đầu vào là thiết yếu và đầu ra sẽ không hoàn toàn giống với dữ liệu đầu vào.
Ví dụ:
- Nếu dữ liệu đầu vào là hình ảnh đồ hoạ, thì bản sao không chính xác sẽ tương tự như hình ảnh gốc nhưng đã được sửa đổi đôi chút. Có thể bản sao không chính xác sẽ loại bỏ tạp âm khỏi thành phần đồ hoạ gốc hoặc điền vào một số pixel bị thiếu.
- Nếu dữ liệu đầu vào là văn bản, bộ mã hoá tự động sẽ tạo văn bản mới bắt chước (nhưng không giống với) văn bản gốc.
Hãy xem thêm về bộ mã hoá tự động đa dạng.
mô hình hồi quy tự động
Mô hình dự đoán thông tin dự đoán dựa vào thông tin gợi ý trước đó dự đoán. Ví dụ: các mô hình ngôn ngữ tự động hồi quy dự đoán biến thể tiếp theo mã thông báo dựa trên mã thông báo được dự đoán trước đó. Tất cả dựa trên Transformer các mô hình ngôn ngữ lớn có tính tự động hồi quy.
Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự động hồi quy vì chúng tạo ra hình ảnh theo một lần chuyển tiếp chứ không phải lặp lại theo bước. Tuy nhiên, một số mô hình tạo hình ảnh nhất định có tính năng tự động hồi quy vì chúng tạo ra hình ảnh theo các bước.
B
túi từ
Biểu thị các từ trong một cụm từ hoặc đoạn văn, bất kể thứ tự. Ví dụ: túi từ biểu thị sau đây là 3 cụm từ giống hệt nhau:
- chú chó nhảy lên
- nhảy chó
- chú chó nhảy
Mỗi từ được liên kết với một chỉ mục trong vectơ thưa, trong đó vectơ có một chỉ mục cho mỗi từ trong từ vựng. Ví dụ: cụm từ chó nhảy được ánh xạ thành vectơ đặc trưng có giá trị khác 0 giá trị ở ba chỉ số tương ứng với các từ the (cái), dog (chó) và nhảy. Giá trị khác 0 có thể là bất kỳ giá trị nào sau đây:
- Số 1 để cho biết một từ đã có mặt.
- Số lần một từ xuất hiện trong túi. Ví dụ: nếu cụm từ chó nâu sẫm là chó có bộ lông màu nâu sẫm, thì cả hai maroon và dog sẽ được biểu thị là 2, trong khi các từ khác sẽ được biểu diễn dưới dạng 1.
- Một số giá trị khác, chẳng hạn như lôgarit của số đếm số số lần một từ xuất hiện trong túi.
BERT (Bộ mã hoá hai chiều Thông tin đại diện từ Transformers)
Cấu trúc mô hình cho phần trình bày văn bản. Một Mô hình BERT có thể hoạt động như một phần của một mô hình lớn hơn để phân loại văn bản hoặc các nhiệm vụ học máy khác.
BERT có các đặc điểm sau:
- Sử dụng cấu trúc Transformer nên dựa vào về hoạt động tự chú ý.
- Sử dụng phần bộ mã hoá của Bộ biến áp. Công việc của bộ mã hoá là thể hiện rõ ràng nội dung văn bản, thay vì chỉ trình bày nhiều công việc như phân loại.
- Có tính hai chiều.
- Sử dụng tính năng tạo mặt nạ cho chương trình đào tạo không có sự giám sát.
Các biến thể của BERT bao gồm:
Xem Mở nguồn cung cấp BERT: Chương trình đào tạo trước tiên phong về ngôn ngữ tự nhiên Đang xử lý để xem thông tin tổng quan về BERT.
hai chiều
Một thuật ngữ dùng để mô tả hệ thống đánh giá văn bản cả trước và theo một phần văn bản mục tiêu. Ngược lại, một chỉ hệ thống một chiều đánh giá văn bản trước một phần văn bản đích.
Ví dụ: hãy xem xét một mô hình ngôn ngữ được che giấu phải xác định xác suất của từ hoặc từ biểu thị dấu gạch dưới trong câu hỏi sau:
Bạn _____ ở đâu?
Mô hình ngôn ngữ một chiều sẽ chỉ dựa trên xác suất vào ngữ cảnh được cung cấp qua các từ "What", "is" và "the". Ngược lại, một mô hình ngôn ngữ hai chiều cũng có thể nhận được ngữ cảnh từ "with" và "bạn", điều này có thể giúp mô hình này đưa ra các dự đoán chính xác hơn.
mô hình ngôn ngữ hai chiều
Mô hình ngôn ngữ xác định xác suất mà một mã thông báo đã cho hiện diện tại một vị trí nhất định trong phần trích dẫn của văn bản dựa trên văn bản trước và sau.
Bigram
N-gram trong đó N=2.
BLEU (Nghiên cứu đánh giá song ngữ)
Điểm nằm trong khoảng từ 0,0 đến 1,0, thể hiện chất lượng của bản dịch giữa hai ngôn ngữ của con người (ví dụ: giữa tiếng Anh và tiếng Nga). BLEU (BLEU) điểm 1.0 cho biết bản dịch hoàn hảo; điểm BLEU là 0.0 cho thấy bản dịch rất tệ.
C
mô hình ngôn ngữ nhân quả
Từ đồng nghĩa với mô hình ngôn ngữ một chiều.
Xem mô hình ngôn ngữ hai chiều để đối chiếu các cách tiếp cận định hướng khác nhau trong mô hình ngôn ngữ.
gợi nhắc chuỗi suy nghĩ
Kỹ thuật kỹ thuật câu lệnh khuyến khích một mô hình ngôn ngữ lớn (LLM) để giải thích suy luận theo từng bước. Ví dụ: hãy xem xét lời nhắc sau đây, thanh toán đặc biệt chú ý đến câu thứ hai:
Người lái xe có bao nhiêu lực g trong một chiếc ô tô đi từ 0 đến 60 số dặm trên một giờ trong 7 giây? Trong câu trả lời, hãy trình bày tất cả phép tính có liên quan.
Câu trả lời của LLM có thể là:
- Hiển thị một chuỗi các công thức vật lý với các giá trị 0, 60 và 7 ở các vị trí thích hợp.
- Giải thích lý do chọn công thức đó và ý nghĩa của các biến.
Việc nhắc chuỗi suy nghĩ buộc LLM thực hiện tất cả các phép tính, để có thể đưa ra câu trả lời chính xác hơn. Ngoài ra, chuỗi suy nghĩ Tính năng nhắc cho phép người dùng kiểm tra các bước của LLM để xác định xem hay không thì câu trả lời đều có ý nghĩa.
trò chuyện
Nội dung của cuộc đối thoại qua lại với hệ thống học máy, thường là mô hình ngôn ngữ lớn. Lượt tương tác trước đó trong một cuộc trò chuyện (nội dung bạn đã nhập và cách mô hình ngôn ngữ lớn phản hồi) trở thành cho các phần tiếp theo của cuộc trò chuyện.
Chatbot là một ứng dụng của mô hình ngôn ngữ lớn.
nói chuyện phiếm
Từ đồng nghĩa với ảo giác.
Phỏng đoán có lẽ là thuật ngữ chính xác hơn về mặt kỹ thuật chứ không phải ảo tưởng. Tuy nhiên, ảo giác trở nên phổ biến trước.
phân tích cú pháp khu vực bầu cử
Chia một câu thành các cấu trúc ngữ pháp nhỏ hơn ("thành phần"). Phần sau của hệ thống ML, chẳng hạn như mô hình hiểu ngôn ngữ tự nhiên, có thể phân tích cú pháp các thành phần dễ dàng hơn câu gốc. Ví dụ: hãy xem xét câu sau:
Bạn tôi nuôi hai con mèo.
Một trình phân tích cú pháp khu vực bầu cử có thể chia câu này thành như sau hai thành phần:
- Bạn của tôi là một cụm danh từ.
- con mèo đã nhận nuôi là một cụm động từ.
Các thành phần này có thể được chia nhỏ hơn nữa thành các thành phần nhỏ hơn. Ví dụ: cụm động từ
nhận nuôi hai chú mèo
có thể được chia nhỏ hơn nữa thành:
- đã cho phép là một động từ.
- hai con mèo là một cụm danh từ khác.
nhúng ngôn ngữ theo ngữ cảnh
Nội dung nhúng đến gần "hiểu biết" các từ và cụm từ theo cách mà người bản địa có thể. Ngôn ngữ theo ngữ cảnh thì tính năng nhúng có thể hiểu được cú pháp, ngữ nghĩa và ngữ cảnh phức tạp.
Ví dụ: hãy xem xét việc nhúng từ tiếng Anh cow. Các mục nhúng cũ hơn chẳng hạn như word2vec có thể biểu thị tiếng Anh sao cho khoảng cách trong không gian nhúng từ bò đến bò cái tương tự như khoảng cách từ bò cái (cừu cái) đến cừu đực (cừu đực) hoặc từ cựu cái sang con đực. Ngôn ngữ theo ngữ cảnh các tính năng nhúng có thể tiến xa hơn nữa bằng cách nhận ra rằng đôi khi, người nói tiếng Anh ngẫu nhiên dùng từ bò để chỉ con bò hoặc bò đực.
cửa sổ ngữ cảnh
Số lượng mã thông báo mà một mô hình có thể xử lý trong một dữ liệu cụ thể lời nhắc. Cửa sổ ngữ cảnh càng lớn, thì thông tin càng nhiều mà mô hình đó có thể dùng để đưa ra câu trả lời mạch lạc và nhất quán vào lời nhắc.
hoa va chạm
Câu hoặc cụm từ có nghĩa mơ hồ. Hoa tai nạn là một vấn đề đáng kể về tự nhiên hiểu ngôn ngữ. Ví dụ: dòng tiêu đề Băng đỏ giữ tòa nhà chọc trời là xảy ra sự cố vì mô hình NLU có thể diễn giải tiêu đề theo nghĩa đen hoặc theo nghĩa bóng.
D
bộ giải mã
Nhìn chung, bất kỳ hệ thống học máy nào chuyển đổi từ một hệ thống đã xử lý, dày đặc hoặc bản trình bày nội bộ thành bản trình bày thô, thưa thớt hoặc bên ngoài hơn.
Bộ giải mã thường là một thành phần của mô hình lớn hơn, trong đó chúng thường xuất hiện ghép nối với bộ mã hoá.
Trong tác vụ theo trình tự, bộ giải mã bắt đầu với trạng thái nội bộ do bộ mã hoá tạo ra để dự đoán trạng thái tiếp theo trình tự.
Tham khảo Transformer để biết định nghĩa về bộ giải mã trong cấu trúc Transformer.
khử nhiễu
Phương pháp phổ biến đối với phương pháp học tự giám sát trong đó:
Tính năng khử nhiễu giúp bạn học hỏi từ các ví dụ chưa được gắn nhãn. Tập dữ liệu ban đầu đóng vai trò là mục tiêu hoặc label và dữ liệu nhiễu làm đầu vào.
Một số mô hình ngôn ngữ được che giấu sử dụng tính năng khử nhiễu như sau:
- Tiếng ồn được thêm một cách giả tạo vào một câu không được gắn nhãn bằng cách che một số mã thông báo.
- Mô hình sẽ cố gắng dự đoán mã thông báo ban đầu.
nhắc trực tiếp
Từ đồng nghĩa với lời nhắc thực hiện bằng 0.
E
chỉnh sửa khoảng cách
Phép đo mức độ tương tự của hai chuỗi văn bản với nhau. Trong công nghệ học máy, việc chỉnh sửa khoảng cách rất hữu ích vì có thể và một cách hiệu quả để so sánh hai chuỗi được biết là tương tự hoặc để tìm các chuỗi tương tự với một chuỗi đã cho.
Có một số định nghĩa về khoảng cách chỉnh sửa, mỗi định nghĩa lại sử dụng một chuỗi khác nhau các toán tử. Ví dụ: Quãng đường từ Levenshtein xem xét phép toán xoá, chèn và thay thế ít nhất.
Ví dụ: khoảng cách Levenshtein giữa các từ "tim" và "phi tiêu" là 3 vì 3 nội dung chỉnh sửa sau đây là ít thay đổi nhất để biến một từ vào dữ liệu khác:
- trái tim → dấu móc (thay "h" bằng "d")
- deart → phi tiêu (xoá "e")
- phi tiêu → phi tiêu (chèn "s")
lớp nhúng
Một lớp ẩn đặc biệt huấn luyện trên tính năng phân loại chiều cao để tìm hiểu dần vectơ nhúng chiều dưới. Một tầng nhúng cho phép mạng nơron huấn luyện hiệu quả hơn hiệu quả hơn so với việc chỉ đào tạo về tính năng phân loại chiều cao.
Ví dụ, Trái đất hiện hỗ trợ khoảng 73.000 loài cây. Giả sử
loài cây là một tính năng trong mô hình của bạn, do đó,
lớp đầu vào bao gồm vectơ một nóng 73.000
dài.
Ví dụ: có thể baobab sẽ được biểu thị như sau:
Mảng 73.000 phần tử là rất dài. Nếu bạn không thêm lớp nhúng vào mô hình, việc huấn luyện sẽ tốn rất nhiều thời gian do nhân 72.999 số không. Có thể bạn nên chọn lớp nhúng để đưa vào gồm 12 phương diện. Do đó, lớp nhúng sẽ dần học một vectơ nhúng mới cho mỗi loài cây.
Trong một số trường hợp nhất định, thao tác băm là giải pháp thay thế hợp lý vào lớp nhúng.
không gian nhúng
Không gian vectơ d chiều đặc trưng từ một chiều cao hơn không gian vectơ được ánh xạ tới. Lý tưởng nhất là không gian nhúng chứa cấu trúc mang lại kết quả toán học có ý nghĩa; ví dụ: trong một không gian nhúng lý tưởng, phép cộng và trừ các phần nhúng có thể giải quyết nhiệm vụ tương tự từ.
Sản phẩm chấm của hai nhúng là thước đo mức độ tương đồng của chúng.
vectơ nhúng
Nói chung, một mảng số dấu phẩy động được lấy từ bất kỳ lớp ẩn mô tả dữ liệu đầu vào cho lớp ẩn đó. Thông thường, vectơ nhúng là một mảng gồm các số dấu phẩy động được huấn luyện theo một lớp nhúng. Ví dụ: giả sử một lớp nhúng phải tìm hiểu vectơ nhúng cho mỗi loại trong số 73.000 loài cây trên Trái đất. Có thể mảng sau đây là vectơ nhúng của một cây bao báp:
Vectơ nhúng không phải là một loạt các số ngẫu nhiên. Lớp nhúng xác định các giá trị này thông qua quá trình huấn luyện, tương tự như cách mạng nơron sẽ học các trọng số khác trong quá trình huấn luyện. Mỗi phần tử của mảng là xếp hạng theo một số đặc điểm của một loài cây. Mục nào đại diện cho loài cây nào đặc điểm của mình? Rất khó để con người xác định.
Phần đáng chú ý về mặt toán học của vectơ nhúng là tương tự các mục có bộ số dấu phẩy động tương tự nhau. Ví dụ: tương tự các loài cây có tập hợp số dấu phẩy động giống nhau hơn so với những loài cây không giống nhau. Cây hồng sam và cây cự sam là các loài cây có họ liên quan, nên chúng sẽ có tập hợp số dấu phẩy động giống nhau hơn cây gỗ đỏ và cây cọ dừa. Các số trong vectơ nhúng sẽ thay đổi mỗi lần huấn luyện lại mô hình, ngay cả khi bạn đào tạo lại mô hình có dữ liệu đầu vào giống hệt nhau.
bộ mã hóa
Nhìn chung, mọi hệ thống học máy chuyển đổi từ dữ liệu thô, thưa thớt hoặc bên ngoài thành cách trình bày được xử lý nhiều hơn, dày đặc hơn hoặc nội bộ hơn.
Bộ mã hoá thường là một thành phần của mô hình lớn hơn, trong đó bộ mã hoá thường xuất hiện ghép nối với bộ giải mã. Một số máy biến áp ghép nối bộ mã hóa với bộ giải mã, mặc dù các Bộ chuyển đổi khác chỉ sử dụng bộ mã hóa hoặc chỉ bộ giải mã.
Một số hệ thống sử dụng đầu ra của bộ mã hoá làm đầu vào để phân loại hoặc mạng hồi quy.
Trong các nhiệm vụ theo trình tự, một bộ mã hoá nhận một chuỗi đầu vào và trả về trạng thái bên trong (một vectơ). Sau đó, bộ giải mã sử dụng trạng thái nội bộ đó để dự đoán trình tự tiếp theo.
Tham khảo bài viết Transformer để biết định nghĩa về một bộ mã hoá trong cấu trúc Transformer.
F
nhắc một vài thông tin
Câu lệnh có nhiều (một "vài") ví dụ minh hoạ cách mô hình ngôn ngữ lớn sẽ phản hồi. Ví dụ: câu lệnh dài sau đây chứa hai các ví dụ cho thấy mô hình ngôn ngữ lớn về cách trả lời một truy vấn.
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia đã chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Vương quốc Anh: GBP | Ví dụ khác. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
Việc nhắc ít liên quan thường mang lại kết quả mong muốn hơn so với nhắc nhở hoạt động không cố định và Nhắc một lần. Tuy nhiên, việc nhắc vài lần cần một câu lệnh dài hơn.
Nhắc vài lần là một hình thức học vài lần đã áp dụng cho học tập dựa trên câu lệnh.
Đàn vĩ cầm
Một thư viện cấu hình ưu tiên Python sẽ đặt giá trị giá trị của các hàm và lớp không có mã hoặc cơ sở hạ tầng xâm phạm. Trong trường hợp Pax (và các cơ sở mã học máy khác) thì các hàm này và các lớp đại diện cho các mô hình và huấn luyện siêu tham số.
Dây vĩ cầm giả định rằng cơ sở mã học máy thường được chia thành:
- Mã thư viện xác định các lớp và trình tối ưu hoá.
- "Keo" tập dữ liệu để gọi các thư viện và kết nối mọi thứ với nhau.
Fiddle ghi lại cấu trúc lệnh gọi của mã kết nối trong một thuộc tính chưa được đánh giá và dạng có thể thay đổi.
tinh chỉnh
Một lượt huấn luyện thứ hai, dành riêng cho từng nhiệm vụ được thực hiện trên mô hình huấn luyện trước để tinh chỉnh các tham số cho một trường hợp sử dụng cụ thể. Ví dụ: trình tự đào tạo đầy đủ cho một số mô hình ngôn ngữ lớn như sau:
- Huấn luyện trước: Đào tạo một mô hình ngôn ngữ lớn trên một tập dữ liệu tổng quát rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
- Điều chỉnh: Đào tạo mô hình đã huấn luyện trước để thực hiện một thao tác cụ thể, chẳng hạn như trả lời các câu hỏi về y tế. Việc tinh chỉnh thường liên quan đến hàng trăm hoặc hàng nghìn ví dụ tập trung vào tác vụ cụ thể.
Một ví dụ khác, trình tự huấn luyện đầy đủ cho mô hình hình ảnh lớn là sau:
- Huấn luyện trước: Đào tạo một mô hình hình ảnh lớn trên hình ảnh chung rộng lớn chẳng hạn như tất cả hình ảnh trong Wikimedia commons.
- Điều chỉnh: Đào tạo mô hình đã huấn luyện trước để thực hiện một thao tác cụ thể, chẳng hạn như tạo hình ảnh cá voi sát thủ.
Việc tinh chỉnh có thể gồm bất kỳ sự kết hợp nào của các chiến lược sau đây:
- Sửa đổi tất cả mô hình hiện có của mô hình huấn luyện trước tham số. Quá trình này đôi khi được gọi là tinh chỉnh đầy đủ.
- Chỉ sửa đổi một số tham số hiện có của mô hình huấn luyện trước (thường là các lớp gần nhất với lớp đầu ra), trong khi giữ nguyên các tham số hiện có khác (thường là các lớp gần với lớp đầu vào nhất. Xem điều chỉnh hiệu quả về tham số.
- Thêm các lớp khác, thường là ở đầu các lớp hiện có gần nhất với tầng đầu ra.
Tinh chỉnh là một hình thức học chuyển tiếp. Như vậy, quá trình tinh chỉnh có thể sử dụng một hàm mất mát khác hoặc một mô hình khác khác với các loại được dùng để huấn luyện mô hình luyện sẵn. Ví dụ: bạn có thể tinh chỉnh mô hình hình ảnh lớn được huấn luyện trước để tạo ra một mô hình hồi quy trả về số lượng chim trong hình ảnh đầu vào.
So sánh và đối chiếu tính năng tinh chỉnh với các thuật ngữ sau:
Cây lanh
Nguồn mở hiệu suất cao thư viện dành cho học sâu được xây dựng dựa trên JAX. Hạt lanh cung cấp các hàm để đào tạo mạng nơron, cũng như làm phương pháp đánh giá hiệu suất.
Flaxformer
Transformer nguồn mở thư viện, được xây dựng trên Flax, được thiết kế chủ yếu cho việc xử lý ngôn ngữ tự nhiên và nghiên cứu đa phương thức.
G
AI tạo sinh
Một trường biến đổi mới xuất hiện mà không có định nghĩa chính thức. Tuy nhiên, hầu hết chuyên gia đều đồng ý rằng các mô hình AI tạo sinh có thể tạo ("tạo") nội dung đáp ứng tất cả các yêu cầu sau:
- phức tạp
- mạch lạc
- gốc
Ví dụ: một mô hình AI tạo sinh có thể tạo ra những bài tiểu luận hoặc hình ảnh.
Một số công nghệ cũ, bao gồm LSTMs và RNN, cũng có thể tạo tệp gốc và nội dung mạch lạc. Một số chuyên gia xem những công nghệ trước đây này AI tạo sinh, trong khi những người khác lại cảm thấy rằng AI tạo sinh thực sự đòi hỏi những so với những công nghệ trước đây có thể tạo ra.
Trái ngược với công nghệ học máy dự đoán.
GPT (Trình chuyển đổi được huấn luyện trước và tạo sinh)
Một dòng sản phẩm dựa trên Transformer mô hình ngôn ngữ lớn do OpenAI.
Các biến thể GPT có thể áp dụng cho nhiều phương thức, bao gồm:
- tạo hình ảnh (ví dụ: ImageGPT)
- tạo văn bản thành hình ảnh (ví dụ: DALL-E).
Số lần bị đánh trúng bóng
ảo tưởng
Việc tạo ra đầu ra có vẻ hợp lý nhưng thực tế không chính xác bằng AI tạo sinh với ý định tạo ra về thế giới thực. Ví dụ: một mô hình AI tạo sinh tuyên bố rằng Barack Obama qua đời vào năm 1865 là ảo giác.
I
học tập theo ngữ cảnh
Từ đồng nghĩa với lời nhắc một vài lần.
L
LaMDA (Mô hình ngôn ngữ cho ứng dụng hội thoại)
Dựa trên Transformer mô hình ngôn ngữ lớn do Google phát triển đã được đào tạo về một tập dữ liệu hội thoại lớn có thể tạo ra các câu trả lời trò chuyện chân thực.
LaMDA: Cuộc trò chuyện mang tính đột phá của chúng ta công nghệ sẽ cung cấp cái nhìn tổng quan.
mô hình ngôn ngữ
Mô hình ước tính xác suất của một mã thông báo hoặc chuỗi mã thông báo xảy ra theo một chuỗi mã thông báo dài hơn.
mô hình ngôn ngữ lớn
Một cụm từ không chính thức không có định nghĩa chặt chẽ thường có nghĩa là mô hình ngôn ngữ có số lượng tham số. Một số mô hình ngôn ngữ lớn chứa hơn 100 tỷ tham số.
không gian ẩn
Từ đồng nghĩa với không gian nhúng.
LLM
Từ viết tắt của mô hình ngôn ngữ lớn.
LoRA
Từ viết tắt của Khả năng thích ứng ở cấp thấp.
Khả năng thích ứng ở cấp thấp (LoRA)
Thuật toán để thực hiện điều chỉnh hiệu quả tham số mà tinh chỉnh một tập hợp con của tham số của mô hình ngôn ngữ lớn. LoRA mang lại những lợi ích sau:
- Tinh chỉnh nhanh hơn so với các kỹ thuật yêu cầu tinh chỉnh tất cả của một mô hình tham số.
- Giảm chi phí tính toán của hoạt động suy luận trong mô hình được tinh chỉnh.
Một mô hình được điều chỉnh bằng LoRA sẽ duy trì hoặc cải thiện chất lượng của các thông tin dự đoán.
LoRA hỗ trợ nhiều phiên bản chuyên biệt của một mô hình.
M
mô hình ngôn ngữ bị che
Mô hình ngôn ngữ dự đoán xác suất mã thông báo ứng viên để điền vào chỗ trống theo trình tự. Ví dụ: một mô hình ngôn ngữ đeo mặt nạ có thể tính xác suất cho(các) từ ứng viên để thay thế dấu gạch dưới trong câu sau:
____ đội mũ đã trở lại.
Tài liệu văn học thường sử dụng chuỗi "MASK" thay vì gạch chân. Ví dụ:
"MASK" đội mũ đã quay trở lại.
Hầu hết các mô hình ngôn ngữ được che giấu hiện đại đều có hai chiều.
siêu học tập
Một tập hợp con của công nghệ học máy phát hiện hoặc cải thiện thuật toán học tập. Một hệ thống học tập tổng hợp cũng có thể hướng đến việc huấn luyện một mô hình để nhanh chóng học hỏi nhiệm vụ từ một lượng nhỏ dữ liệu hoặc từ kinh nghiệm có được trong các nhiệm vụ trước đó. Các thuật toán học siêu dữ liệu thường cố gắng đạt được những mục tiêu sau:
- Cải thiện hoặc tìm hiểu các tính năng được thiết kế thủ công (chẳng hạn như trình khởi chạy hoặc một trình tối ưu hoá).
- Tiết kiệm dữ liệu và điện toán hiệu quả hơn.
- Cải thiện khả năng khái quát hoá.
Học siêu dữ liệu có liên quan đến học một vài lần.
phương thức
Một danh mục dữ liệu cấp cao. Ví dụ: số, văn bản, hình ảnh, video và âm thanh là 5 phương thức khác nhau.
tính song song mô hình
Một cách mở rộng quy mô huấn luyện hoặc suy luận để đặt các phần khác nhau của một model trên nhiều thiết bị. Lập mô hình song song cho phép các mẫu nội dung quá lớn không thể vừa với một thiết bị.
Để triển khai tính song song của mô hình, hệ thống thường làm như sau:
- Phân đoạn (chia) mô hình thành các phần nhỏ hơn.
- Phân bổ quá trình huấn luyện các phần nhỏ hơn đó cho nhiều bộ xử lý. Mỗi bộ xử lý sẽ huấn luyện một phần riêng của mô hình.
- Kết hợp các kết quả để tạo một mô hình duy nhất.
Tính năng song song của mô hình làm chậm quá trình huấn luyện.
Hãy xem thêm bài viết tính song song dữ liệu.
tự tập trung vào nhiều đầu
Một phần mở rộng của tính năng tự chú ý áp dụng cơ chế tự chú ý nhiều lần cho mỗi vị trí trong chuỗi đầu vào.
Transformers đã ra mắt tính năng tự chú ý nhiều đầu.
mô hình đa phương thức
Mô hình có đầu vào và/hoặc đầu ra bao gồm nhiều hơn một phương thức. Ví dụ: hãy xem xét một mô hình lấy cả hình ảnh và chú thích văn bản (hai phương thức) làm tính năng, và sẽ cho ra điểm số cho biết mức độ phù hợp của chú thích văn bản với hình ảnh. Vì vậy, dữ liệu đầu vào của mô hình này là đa phương thức và đầu ra là đa phương thức.
Không
hiểu ngôn ngữ tự nhiên
Xác định ý định của người dùng dựa trên nội dung người dùng nhập hoặc nói. Ví dụ: một công cụ tìm kiếm sử dụng hiểu biết ngôn ngữ tự nhiên để xác định nội dung người dùng đang tìm kiếm dựa trên những gì người dùng nhập hoặc nói.
N gam
Một chuỗi N từ theo thứ tự. Ví dụ: thực sự điên rồ là 2 gam. Bởi vì có liên quan, thực sự khác với 2 gam thực sự điên rồ.
| Không | Tên của loại N-gram này | Ví dụ |
|---|---|---|
| 2 | quả óc chó hoặc 2 gam | để đi, đi chơi, ăn trưa, ăn tối |
| 3 | 3 gam | ăn quá nhiều, ba con chuột bị mù, chuông điện thoại đổ chuông |
| 4 | 4 gam | đi dạo trong công viên, bụi trong gió, cậu bé ăn đậu lăng |
Nhiều hiểu biết ngôn ngữ tự nhiên các mô hình dựa vào N-gram để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử người dùng nhập ba mù. Mô hình NLU dựa trên tam giác có thể sẽ dự đoán rằng người dùng sẽ nhập tiếp theo chuột.
Đối chiếu N-gram với túi từ, vốn là tập hợp từ không theo thứ tự.
hiểu ngôn ngữ tự nhiên (NLU)
Từ viết tắt của ngôn ngữ tự nhiên hiểu.
O
nhắc một lần
Câu lệnh có một ví dụ minh hoạ cách mô hình ngôn ngữ lớn cần phản hồi. Ví dụ: câu lệnh sau đây chứa một ví dụ minh hoạ một mô hình ngôn ngữ lớn nó sẽ trả lời một truy vấn.
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia đã chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
So sánh và đối chiếu lời nhắc một lần với các cụm từ sau:
Điểm
điều chỉnh hiệu quả tham số
Một nhóm kỹ thuật để tinh chỉnh đoạn âm thanh lớn mô hình ngôn ngữ luyện trước (PLM) hiệu quả hơn so với việc điều chỉnh hoàn toàn. Sử dụng thông số hiệu quả tính năng điều chỉnh thường tinh chỉnh ít thông số hơn nhiều so với đầy đủ tinh chỉnh, nhưng thường tạo ra mô hình ngôn ngữ lớn mang lại hiệu quả mô hình ngôn ngữ lớn (hoặc gần như tương tự) được xây dựng từ tinh chỉnh.
So sánh và đối chiếu cách điều chỉnh hiệu quả thông số với:
Điều chỉnh hiệu quả tham số còn được gọi là tinh chỉnh hiệu quả tham số.
tạo đường ống
Một dạng mô hình song song trong đó quá trình xử lý được chia thành các giai đoạn liên tiếp và mỗi giai đoạn được thực thi trên một thiết bị khác. Mặc dù một giai đoạn đang xử lý một lô, giai đoạn có thể xử lý cho lô tiếp theo.
Hãy xem thêm mục chương trình đào tạo theo giai đoạn.
PLM
Từ viết tắt của mô hình ngôn ngữ được huấn luyện trước.
mã hoá vị trí
Kỹ thuật thêm thông tin về vị trí của mã thông báo theo trình tự để nhúng của mã thông báo. Mô hình bộ chuyển đổi sử dụng dữ liệu vị trí để hiểu rõ hơn mối quan hệ giữa các phần khác nhau của trình tự.
Cách triển khai phổ biến của mã hoá vị trí sẽ sử dụng hàm hình sin. (Cụ thể, tần số và biên độ của hàm hình sin là được xác định theo vị trí của mã thông báo trong chuỗi). Kỹ thuật này cho phép mô hình Transformer học cách tham gia vào các phần khác nhau của trình tự dựa trên vị trí của chúng.
mô hình luyện sẵn
Các mô hình hoặc thành phần mô hình (chẳng hạn như vectơ nhúng) đã được huấn luyện. Đôi khi, bạn sẽ cung cấp các vectơ nhúng đã huấn luyện trước vào một mạng nơron. Vào những lúc khác, mô hình của bạn sẽ huấn luyện thay vì dựa vào các vectơ nhúng được huấn luyện trước.
Thuật ngữ mô hình ngôn ngữ được huấn luyện trước đề cập đến một mô hình ngôn ngữ lớn đã trải qua trước khi đào tạo.
đào tạo trước
Quá trình huấn luyện ban đầu cho một mô hình trên một tập dữ liệu lớn. Một số mô hình luyện sẵn là những gã khổng lồ vụng về và thường phải được hoàn thiện thông qua việc đào tạo bổ sung. Ví dụ: các chuyên gia ML có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản rộng lớn, chẳng hạn như tất cả các trang tiếng Anh trên Wikipedia. Sau quá trình đào tạo trước, mô hình thu được có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật:
câu lệnh
Bất kỳ văn bản nào được nhập dưới dạng dữ liệu đầu vào vào mô hình ngôn ngữ lớn để điều chỉnh mô hình hoạt động theo một cách nhất định. Lời nhắc có thể ngắn gọn bằng cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Câu lệnh được phân thành nhiều danh mục, bao gồm những danh mục được hiển thị trong bảng sau:
| Danh mục câu lệnh | Ví dụ: | Ghi chú |
|---|---|---|
| Câu hỏi | Chim bồ câu có thể bay nhanh đến mức nào? | |
| Hướng dẫn | Viết một bài thơ hài hước về chủ đề chuyên đăng quảng cáo. | Câu lệnh yêu cầu mô hình ngôn ngữ lớn làm gì đó. |
| Ví dụ: | Dịch mã Markdown sang HTML. Ví dụ:
Markdown: * mục danh sách HTML: <ul> <li>mục trong danh sách</li> </ul> |
Câu đầu tiên trong câu lệnh mẫu này là một hướng dẫn. Phần còn lại của câu lệnh là ví dụ. |
| Vai trò | Giải thích lý do phương pháp giảm độ dốc được dùng trong chương trình huấn luyện công nghệ học máy để Tiến sĩ Vật lý. | Phần đầu tiên của câu là một hướng dẫn; cụm từ "thành tiến sĩ vật lý" là phần vai trò. |
| Một phần dữ liệu đầu vào để mô hình này hoàn tất | Thủ tướng Vương quốc Anh sống tại | Lời nhắc nhập một phần có thể kết thúc đột ngột (như trong ví dụ này) hoặc kết thúc bằng dấu gạch dưới. |
Mô hình AI tạo sinh có thể trả lời một câu lệnh bằng văn bản, mã, hình ảnh, nội dung nhúng, video... hầu như mọi thứ.
học dựa trên câu lệnh
Khả năng của một số mô hình nhất định giúp các mô hình đó thích ứng hành vi của họ khi nhập văn bản tuỳ ý (lời nhắc). Trong một mô hình học tập dựa trên câu lệnh thông thường, mô hình ngôn ngữ lớn phản hồi câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử một người dùng nhập câu lệnh sau:
Tóm tắt Định luật chuyển động thứ ba của Newton.
Một mô hình có khả năng học dựa trên câu lệnh chưa được huấn luyện riêng để trả lời câu lệnh trước đó. Thay vào đó, mô hình này "biết" nhiều thông tin về vật lý, rất nhiều về các quy tắc ngôn ngữ chung và những yếu tố cấu thành nên các câu trả lời hữu ích. Kiến thức đó đủ để cung cấp (hy vọng) thông tin hữu ích . Ý kiến phản hồi bổ sung của con người ("Câu trả lời đó quá phức tạp." hoặc "Phản ứng là gì?") giúp một số hệ thống học tập dựa trên câu lệnh dần dần để cải thiện mức độ hữu ích cho câu trả lời của họ.
thiết kế câu lệnh
Từ đồng nghĩa với kỹ thuật câu lệnh.
thiết kế câu lệnh
Nghệ thuật tạo câu lệnh gợi ra các câu trả lời mong muốn qua một mô hình ngôn ngữ lớn. Con người thực hiện câu lệnh kỹ thuật. Việc viết câu lệnh có cấu trúc hợp lý là một phần thiết yếu để đảm bảo các phản hồi hữu ích từ một mô hình ngôn ngữ lớn. Kỹ thuật câu lệnh phụ thuộc vào nhiều yếu tố, bao gồm:
- Tập dữ liệu dùng để huấn luyện trước và có thể là tinh chỉnh mô hình ngôn ngữ lớn.
- Nhiệt độ và các thông số giải mã khác mà mô hình sử dụng để tạo phản hồi.
Xem Giới thiệu về thiết kế câu lệnh để biết thêm chi tiết về cách viết những câu lệnh hữu ích.
Thiết kế câu lệnh là từ đồng nghĩa với kỹ thuật thiết kế câu lệnh.
chỉnh lời nhắc
Cơ chế điều chỉnh hiệu quả thông số học "tiền tố" mà hệ thống thêm vào trước lời nhắc thực tế.
Một biến thể của tính năng điều chỉnh câu lệnh (đôi khi được gọi là điều chỉnh tiền tố) là thêm tiền tố vào mỗi lớp. Ngược lại, hầu hết các tính năng chỉ điều chỉnh câu lệnh thêm tiền tố vào lớp đầu vào.
Điểm
nhắc vai trò
Một phần không bắt buộc trong lời nhắc giúp xác định đối tượng mục tiêu để nhận phản hồi của mô hình AI tạo sinh. Không có vai trò câu lệnh, mô hình ngôn ngữ lớn sẽ đưa ra câu trả lời có thể hữu ích hoặc không hữu ích đối với người đặt câu hỏi. Với câu lệnh nhập vai trò, một ngôn ngữ lớn có thể trả lời theo cách phù hợp và hữu ích hơn đối với một đối tượng mục tiêu cụ thể. Ví dụ: phần lời nhắc về vai trò trong phần sau lời nhắc được in đậm:
- Tóm tắt bài viết này cho bằng tiến sĩ kinh tế.
- Mô tả cơ chế hoạt động của thuỷ triều cho trẻ 10 tuổi.
- Giải thích cuộc khủng hoảng tài chính 2008. Hãy nói như bạn có thể với một đứa trẻ nhỏ, hoặc chó săn lông vàng.
CN
tự chú ý (còn được gọi là tầng tự chú ý)
Một lớp mạng nơron biến đổi một chuỗi mục nhúng (ví dụ: mục nhúng mã thông báo) vào một chuỗi nhúng khác. Mỗi mục nhúng trong chuỗi đầu ra là được tạo bằng cách tích hợp thông tin từ các phần tử của chuỗi đầu vào thông qua cơ chế chú ý.
Phần self của sự tự chú ý đề cập đến trình tự tham gia vào chứ không phải là với một số ngữ cảnh khác. Quan tâm đến bản thân là một trong những thành phần cho Transformers và sử dụng tính năng tra cứu từ điển chẳng hạn như "truy vấn", "khoá" và "giá trị".
Một tầng tự chú ý bắt đầu bằng một chuỗi các biểu diễn đầu vào, một cho từng từ. Biểu diễn đầu vào cho một từ có thể là một đơn giản nhúng. Đối với mỗi từ trong một chuỗi đầu vào, mạng tính điểm mức độ liên quan của từ với mọi thành phần trong toàn bộ chuỗi các từ. Điểm số mức độ liên quan xác định giá trị đại diện cuối cùng của từ đó kết hợp biểu diễn của các từ khác.
Ví dụ: hãy xem xét câu sau:
Con vật không qua đường vì quá mệt.
Hình minh hoạ sau đây (từ Transformer: Cấu trúc mạng nơron mới cho ngôn ngữ Thấu hiểu) cho thấy kiểu chú ý của một lớp tự chú ý cho đại từ it, với độ tối của mỗi dòng cho biết đóng góp của mỗi từ đối với đại diện:
Lớp tự chú ý sẽ đánh dấu những từ có liên quan đến "it". Trong phần này viết hoa, lớp chú ý đã học cách đánh dấu những từ có thể tham chiếu đến việc chỉ định trọng số cao nhất cho động vật.
Đối với một trình tự gồm n mã thông báo, sự chú ý tự chú ý sẽ biến đổi một trình tự trong số mục nhúng n lần riêng biệt, một lần tại mỗi vị trí trong chuỗi.
Ngoài ra, hãy tham khảo thêm phần chú ý và tính năng tự chú ý nhiều đầu.
phân tích cảm nhận
Sử dụng các thuật toán thống kê hoặc học máy để xác định thái độ tổng thể (tích cực hay tiêu cực) đối với dịch vụ, sản phẩm, tổ chức hoặc chủ đề. Ví dụ: sử dụng hiểu ngôn ngữ tự nhiên, một thuật toán có thể thực hiện phân tích quan điểm dựa trên phản hồi bằng văn bản của một khoá học đại học để xác định bằng cấp của sinh viên thường thích hoặc không thích khoá học.
tác vụ theo trình tự
Tác vụ chuyển đổi một chuỗi đầu vào gồm mã thông báo thành đầu ra chuỗi mã thông báo. Ví dụ: hai loại trình tự phổ biến nhiệm vụ là:
- Người dịch:
- Chuỗi nhập mẫu: "Tôi yêu bạn".
- Trình tự đầu ra mẫu: "Je t'aime."
- Trả lời câu hỏi:
- Chuỗi nhập mẫu: "Tôi có cần xe ô tô của mình ở Thành phố New York không?"
- Chuỗi đầu ra mẫu: "No. Vui lòng để xe ở nhà."
skip-gram
Một n-gram có thể bỏ qua (hoặc "bỏ qua") các từ khỏi bản gốc ngữ cảnh, nghĩa là từ N có thể không nằm liền kề nhau. Xem thêm chính xác là "k-skip-n-gram" là n-gam mà trong đó có tối đa k từ có thể có đã bị bỏ qua.
Ví dụ: "con cáo nhanh màu nâu" có thể có 2 gam sau đây:
- "nhanh chóng"
- "nhanh chóng"
- " cáo màu nâu"
"1 lần ném 2 gam" là một cặp từ có tối đa 1 từ ở giữa. Do đó, "con cáo nhanh màu nâu" có 2 gam 1-bỏ qua sau:
- "nâu"
- " cáo nhanh"
Ngoài ra, tất cả 2 gam cũng là 1 lần bỏ qua 2 gam, vì ít hơn có thể bỏ qua một từ.
Phông chữ bỏ qua rất hữu ích để hiểu thêm ngữ cảnh xung quanh của một từ. Trong ví dụ: "con cáo" được liên kết trực tiếp với "nhanh" trong tập hợp 1-bỏ-2-gam, nhưng không có trong tập hợp 2-gam.
Hướng dẫn về Skip-gram Nhúng từ.
điều chỉnh câu lệnh tạm thời
Kỹ thuật điều chỉnh mô hình ngôn ngữ lớn cho một nhiệm vụ cụ thể mà không cần tốn nhiều tài nguyên tinh chỉnh. Thay vì đào tạo lại tất cả weights (trọng số) trong mô hình, điều chỉnh lời nhắc mềm tự động điều chỉnh một lời nhắc để đạt được cùng một mục tiêu.
Đưa ra một câu lệnh dạng văn bản, hãy tinh chỉnh lời nhắc mềm thường sẽ thêm các mục nhúng mã thông báo bổ sung vào lời nhắc và sử dụng lan truyền ngược để tối ưu hoá đầu vào.
Một "cứng" chứa mã thông báo thực tế thay vì nhúng mã thông báo.
tính chất thưa thớt
Một tính năng có giá trị chủ yếu bằng 0 hoặc trống. Ví dụ: đối tượng chứa giá trị số 1 và một triệu giá trị 0 là thưa thớt. Ngược lại, tính năng dày đặc có các giá trị chủ yếu không phải là số 0 hoặc dữ liệu trống.
Trong công nghệ học máy, có nhiều tính năng đáng ngạc nhiên là các tính năng thưa thớt. Đối tượng phân loại thường là các đối tượng thưa thớt. Ví dụ: trong số 300 loài cây có thể có trong một khu rừng, một ví dụ duy nhất có thể chỉ xác định một cây phong. Hoặc trong số hàng triệu video có thể sử dụng trong thư viện video, một ví dụ duy nhất có thể xác định chỉ là "Casablanca".
Trong một mô hình, bạn thường biểu thị các đối tượng thưa thớt bằng mã hoá một nóng. Nếu mã hoá một nóng có kích thước lớn, bạn có thể đặt một lớp nhúng ở trên mã hoá một lần để đạt được hiệu quả cao hơn.
biểu diễn thưa
Chỉ lưu trữ (các) vị trí của các phần tử khác 0 trong một đối tượng thưa thớt.
Ví dụ: giả sử một đối tượng phân loại có tên species xác định 36
các loài cây trong một khu rừng cụ thể. Giả sử thêm rằng mỗi
ví dụ chỉ xác định một loài duy nhất.
Bạn có thể sử dụng vectơ một nóng để biểu thị loài cây trong mỗi ví dụ.
Vectơ một nóng sẽ chứa một 1 duy nhất (để biểu thị
các loài cây cụ thể trong ví dụ đó) và 35 0 (để thể hiện
35 loài cây không có trong ví dụ đó). Vì vậy, đại diện phổ biến nhất
của maple có thể có dạng như sau:
Ngoài ra, cách biểu diễn thưa thớt sẽ chỉ đơn giản là xác định vị trí của
loài cụ thể. Nếu maple ở vị trí 24, thì biểu diễn thưa
của maple sẽ đơn giản là:
24
Lưu ý rằng biểu diễn thưa thớt nhỏ gọn hơn nhiều so với biểu diễn một nóng đại diện.
Nhấp vào biểu tượng để xem ví dụ phức tạp hơn một chút.
Giả sử mỗi ví dụ trong mô hình của bạn phải đại diện cho các từ, nhưng không thứ tự của những từ đó – trong một câu tiếng Anh. Tiếng Anh bao gồm khoảng 170.000 từ, vì vậy tiếng Anh là một phân loại với khoảng 170.000 phần tử. Hầu hết các câu tiếng Anh đều sử dụng rất nhỏ trong 170.000 từ đó, nên tập hợp từ trong một cụm từ thì gần như chắc chắn sẽ có dữ liệu thưa thớt.
Hãy xem xét câu sau:
My dog is a great dog
Bạn có thể sử dụng biến thể của vectơ một nóng để biểu thị các từ trong . Trong biến thể này, nhiều ô trong vectơ có thể chứa một giá trị khác 0. Hơn nữa, trong biến thể này, một ô có thể chứa một số nguyên khác một nhãn. Mặc dù các từ "của tôi", "là", "a" và "tuyệt vời" chỉ xuất hiện một lần ở trong câu, từ "chó" xuất hiện 2 lần. Sử dụng biến thể này của vectơ một nóng biểu diễn các từ trong câu này mang lại kết quả sau Vectơ 170.000 phần tử:
Một bản trình bày thưa thớt của cùng một câu sẽ đơn giản là:
0: 1 26100: 2 45770: 1 58906: 1 91520: 1
huấn luyện theo giai đoạn
Chiến thuật huấn luyện một mô hình theo trình tự gồm các giai đoạn riêng biệt. Mục tiêu có thể là để rút ngắn quá trình huấn luyện hoặc đạt được chất lượng mô hình tốt hơn.
Dưới đây là hình minh hoạ cho phương pháp xếp chồng tăng dần:
- Giai đoạn 1 gồm 3 lớp ẩn, giai đoạn 2 gồm 6 lớp ẩn và giai đoạn 3 chứa 12 lớp ẩn.
- Giai đoạn 2 bắt đầu tập luyện bằng các trọng số đã học trong 3 lớp ẩn của Giai đoạn 1. Giai đoạn 3 bắt đầu tập luyện với các trọng số đã học trong phiên bản 6 các lớp ẩn của Giai đoạn 2.
Xem thêm phần quy trình.
mã thông báo từ phụ
Trong mô hình ngôn ngữ, một mã thông báo là chuỗi con của một từ, có thể là toàn bộ từ.
Ví dụ: một từ như "phân loại" có thể được chia thành các phần "mục" (từ gốc) và "ize" (một hậu tố), mỗi hậu tố được biểu thị bằng một hậu tố mã thông báo. Việc tách các từ không phổ biến thành các phần như vậy, được gọi là từ phụ, cho phép mô hình ngôn ngữ để hoạt động dựa trên các phần cấu thành phổ biến hơn của từ, chẳng hạn như tiền tố và hậu tố.
Ngược lại, các từ thông dụng như "đi" có thể không bị hỏng và có thể bị được biểu thị bằng một mã thông báo duy nhất.
T
T5
Mô hình chuyển văn bản sang văn bản người giới thiệu AI của Google trong năm 2020. T5 là mô hình bộ mã hoá-bộ giải mã, dựa trên Kiến trúc Transformer, được huấn luyện trên một môi trường cực kỳ lớn tập dữ liệu. Công cụ này hiệu quả trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên, chẳng hạn như tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi bằng cách trò chuyện.
T5 lấy tên từ 5 chữ T trong "Bộ chuyển đổi chuyển văn bản sang văn bản".
T5X
Khung học máy nguồn mở được thiết kế xây dựng và đào tạo khả năng xử lý ngôn ngữ tự nhiên trên quy mô lớn (NLP). T5 được triển khai trên cơ sở mã T5X (tức là được tạo trên JAX và Flax).
nhiệt độ
Siêu tham số kiểm soát mức độ ngẫu nhiên đầu ra của một mô hình. Nhiệt độ cao hơn dẫn đến đầu ra ngẫu nhiên hơn, còn nhiệt độ thấp hơn sẽ dẫn đến đầu ra ít ngẫu nhiên hơn.
Chọn nhiệt độ tốt nhất tuỳ thuộc vào ứng dụng cụ thể và các thuộc tính ưu tiên của dữ liệu đầu ra của mô hình. Ví dụ: bạn nên có thể sẽ tăng nhiệt độ khi tạo một ứng dụng tạo ra đầu ra mẫu quảng cáo. Ngược lại, bạn có thể giảm nhiệt độ khi xây dựng mô hình phân loại hình ảnh hoặc văn bản để cải thiện độ chính xác và nhất quán của mô hình.
Nhiệt độ thường dùng với softmax.
khoảng văn bản
Khoảng chỉ mục của mảng được liên kết với một phần phụ cụ thể của chuỗi văn bản.
Ví dụ: từ good trong chuỗi Python s="Be good now" chiếm giữ
văn bản kéo dài từ 3 đến 6.
mã thông báo
Trong mô hình ngôn ngữ, đơn vị nguyên tử của mô hình đó để được đào tạo và đưa ra dự đoán. Mã thông báo thường là một trong những sau:
- một từ—ví dụ: cụm từ "chó thích mèo" gồm 3 từ mã thông báo: "chó", "thích" và "mèo".
- một ký tự, ví dụ: cụm từ "cá xe đạp" bao gồm 9 mã thông báo ký tự. (Xin lưu ý rằng khoảng trống được tính là một trong các mã thông báo.)
- từ phụ—trong đó một từ có thể là một mã thông báo hoặc nhiều mã thông báo. Từ phụ bao gồm từ gốc, tiền tố hoặc hậu tố. Ví dụ: một mô hình ngôn ngữ sử dụng từ phụ làm mã thông báo có thể xem từ "chó" dưới dạng hai mã thông báo (từ gốc "chó" và hậu tố số nhiều "s"). Cũng vậy mô hình ngôn ngữ có thể xem từ đơn "taller" dưới dạng hai từ phụ ( từ gốc "cao" và hậu tố "er").
Trong những miền nằm ngoài mô hình ngôn ngữ, mã thông báo có thể đại diện cho các loại đơn vị nguyên tử. Ví dụ: trong thị giác máy tính, mã thông báo có thể là một tập hợp con của một hình ảnh.
Biến áp
Một cấu trúc mạng nơron được phát triển tại Google dựa vào cơ chế tự chú ý để chuyển đổi trình tự nhúng đầu vào vào một chuỗi đầu ra các mục nhúng mà không cần dựa vào phép tích hợp hoặc mạng nơron tái phát. Bộ chuyển đổi có thể là được xem dưới dạng một ngăn xếp gồm các lớp tự chú ý.
Bộ chuyển đổi có thể bao gồm bất kỳ phần tử nào sau đây:
- bộ mã hoá
- bộ giải mã
- cả bộ mã hoá lẫn bộ giải mã
Bộ mã hoá biến đổi một chuỗi các mục nhúng thành một chuỗi mới của cùng độ dài. Một bộ mã hoá bao gồm N lớp giống nhau, mỗi lớp trong đó có hai lớp lớp con. Hai lớp con này được áp dụng tại mỗi vị trí của đầu vào trình tự nhúng, biến đổi từng phần tử của trình tự thành một nhúng. Lớp con bộ mã hoá đầu tiên tổng hợp thông tin từ trên chuỗi đầu vào. Lớp con bộ mã hoá thứ hai biến đổi dữ liệu tổng hợp vào nhúng đầu ra.
Bộ giải mã biến đổi một chuỗi các mục nhúng đầu vào thành một chuỗi các nhúng đầu ra, có thể có độ dài khác. Bộ giải mã cũng bao gồm N lớp giống nhau có ba lớp con, có hai lớp trong số đó tương tự như các lớp con của bộ mã hoá. Lớp con của bộ giải mã thứ ba lấy đầu ra của bộ mã hoá và áp dụng cơ chế tự chú ý cho thu thập thông tin từ đó.
Bài đăng trên blog Transformer: Một cấu trúc mạng nơron mới cho ngôn ngữ Tìm hiểu giới thiệu về Transformers.
hình bát giác
N-gram trong đó N=3.
U
một chiều
Hệ thống chỉ đánh giá văn bản trước phần văn bản đích. Ngược lại, hệ thống hai chiều sẽ đánh giá cả văn bản trước và sau phần văn bản đích. Xem nội dung hai chiều để biết thêm thông tin.
mô hình ngôn ngữ một chiều
Mô hình ngôn ngữ chỉ dựa vào xác suất mã thông báo xuất hiện trước, không phải sau(các) mã thông báo mục tiêu. Tương phản với mô hình ngôn ngữ hai chiều.
V
bộ mã hoá biến thiên (VAE)
Một loại bộ mã hoá tự động tận dụng sự khác biệt giữa đầu vào và đầu ra để tạo các phiên bản sửa đổi của đầu vào. Bộ tự động mã hoá biến thể rất hữu ích cho AI tạo sinh.
VAE dựa trên suy luận biến thiên: một kỹ thuật để ước tính các tham số của mô hình xác suất.
W
nhúng từ
Trình bày từng từ trong một nhóm từ trong một vectơ nhúng; tức là đại diện cho mỗi từ như vectơ của các giá trị dấu phẩy động nằm trong khoảng từ 0,0 đến 1,0. Các từ có từ tương tự ý nghĩa được trình bày giống với những từ có nghĩa khác. Ví dụ: cà rốt, cần tây và dưa chuột sẽ có tương đối các cách trình bày tương tự nhau, nên các bản trình bày đó rất khác với bản trình bày máy bay, kính râm và kem đánh răng.
Z
nhắc thủ công
Lời nhắc không đưa ra ví dụ về cách bạn muốn mô hình ngôn ngữ lớn để phản hồi. Ví dụ:
| Các phần của một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia đã chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Ấn Độ: | Cụm từ tìm kiếm thực tế. |
Mô hình ngôn ngữ lớn có thể phản hồi với bất kỳ yêu cầu nào sau đây:
- Rupee
- INR
- ₹
- Đồng rupi Ấn Độ
- Rupee
- Rupee Ấn Độ
Tất cả các câu trả lời đều đúng, mặc dù bạn có thể thích một định dạng cụ thể.
So sánh và đối chiếu lời nhắc chụp ảnh 0 chính với các cụm từ sau: