Trang này chứa các thuật ngữ trong bảng thuật ngữ về Mô hình trình tự. Để biết tất cả các thuật ngữ trong bảng thuật ngữ, hãy nhấp vào đây.
B
Bigram
Một N-gam trong đó N=2.
E
vấn đề bùng nổ về độ dốc
Xu hướng chuyển màu trong mạng nơron sâu (đặc biệt là mạng nơron lặp lại) trở nên dốc một cách bất ngờ (cao). Chuyển màu dốc thường gây ra những bản cập nhật rất lớn cho trọng số của mỗi nút trong mạng nơron sâu.
Các mô hình gặp phải vấn đề về chuyển màu bùng nổ sẽ trở nên khó hoặc không thể huấn luyện được. Tính năng Cắt chuyển màu có thể giảm thiểu vấn đề này.
So sánh với vấn đề về độ dốc biến mất.
F
bỏ qua cổng
Phần của ô Bộ nhớ ngắn hạn điều chỉnh luồng thông tin qua ô. Các cổng bỏ qua sẽ duy trì ngữ cảnh bằng cách quyết định thông tin cần loại bỏ khỏi trạng thái ô.
G
cắt độ dốc
Một cơ chế thường dùng để giảm thiểu vấn đề về chuyển màu phát nổ bằng cách giới hạn (cắt) giá trị tối đa của độ dốc một cách giả tạo khi sử dụng tính năng giảm độ chuyển màu để huấn luyện một mô hình.
L
Bộ nhớ ngắn hạn dài hạn (LSTM)
Một loại ô trong mạng nơron định kỳ được dùng để xử lý trình tự dữ liệu trong các ứng dụng như nhận dạng chữ viết tay, dịch máy và phụ đề hình ảnh. LSTM giải quyết vấn đề về độ dốc biến mất xảy ra khi huấn luyện RNN do trình tự dữ liệu dài bằng cách duy trì nhật ký ở trạng thái bộ nhớ trong dựa trên dữ liệu đầu vào và ngữ cảnh mới từ các ô trước đó trong RNN.
LSTM
Từ viết tắt của Bộ nhớ dài hạn.
N
N gam
Một chuỗi N từ theo thứ tự. Ví dụ: thực sự điên rồ là 2 gam. Vì thứ tự có liên quan, nên madly thực sự khác 2 gram so với thực sự điên rồ.
| N | Tên của loại N-gram này | Ví dụ |
|---|---|---|
| 2 | Bigram hoặc 2-gam | đi, đi, ăn trưa, ăn tối |
| 3 | 3 gam hoặc 3 gam | ăn quá nhiều, ba con chuột bỉm, quả chuông kêu |
| 4 | 4 gam | đi bộ trong công viên, thổi bụi trong gió, cậu bé ăn đậu lăng |
Nhiều mô hình hiểu ngôn ngữ tự nhiên dựa vào N-gram để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử một người dùng nhập ba mù. Mô hình NLU dựa trên bát đồ có thể dự đoán rằng người dùng sẽ nhập chuột lần tiếp theo.
Đối chiếu N-gram với bag of Word, là các tập hợp từ không theo thứ tự.
R
mạng nơron lặp lại
Một mạng nơron có chủ đích chạy nhiều lần, trong đó các phần của mỗi nguồn cấp dữ liệu chạy trong lần chạy tiếp theo. Cụ thể, các lớp ẩn trong lần chạy trước cung cấp một phần dữ liệu đầu vào cho chính lớp ẩn đó trong lần chạy tiếp theo. Mạng nơron lặp lại đặc biệt hữu ích khi đánh giá trình tự, nhờ đó, các lớp ẩn có thể học hỏi từ những lần chạy trước đó của mạng nơron ở những phần trước đó của trình tự.
Ví dụ: hình sau đây cho thấy một mạng nơron định kỳ chạy 4 lần. Xin lưu ý rằng giá trị đã học được trong các lớp ẩn từ lần chạy đầu tiên sẽ trở thành một phần của dữ liệu đầu vào cho chính các lớp ẩn đó trong lần chạy thứ hai. Tương tự, các giá trị học được trong lớp ẩn trong lần chạy thứ hai sẽ trở thành một phần của dữ liệu đầu vào cho chính lớp ẩn đó trong lần chạy thứ ba. Bằng cách này, mạng nơron định kỳ sẽ dần dần huấn luyện và dự đoán ý nghĩa của toàn bộ chuỗi thay vì chỉ hiểu ý nghĩa của từng từ.
RNN
Từ viết tắt của mạng nơron định kỳ.
S
mô hình chuỗi
Một mô hình có dữ liệu đầu vào phụ thuộc tuần tự. Ví dụ: dự đoán video tiếp theo đã xem từ một chuỗi các video đã xem trước đó.
T
bước thời gian
Một ô "không được đẩy" trong mạng nơron định kỳ. Ví dụ: hình sau đây cho thấy 3 bước thời gian (được gắn nhãn bằng các chỉ số dưới t-1, t và t+1):
bát quái
Một N-gam, trong đó N=3.
V
bài toán về độ dốc đang biến mất
Xu hướng chuyển màu của các lớp ẩn ban đầu của một số mạng nơron sâu trở nên phẳng một cách đáng kinh ngạc (thấp). Độ dốc ngày càng thấp, dẫn đến các thay đổi ngày càng nhỏ đối với trọng số trên các nút trong mạng nơron sâu, dẫn đến việc học ít hoặc không học. Các mô hình gặp phải vấn đề về độ dốc biến mất sẽ trở nên khó hoặc không thể huấn luyện được. Các ô Bộ nhớ ngắn hạn giải quyết vấn đề này.
So sánh với vấn đề phát nổ về độ dốc.