Trang này chứa các thuật ngữ trong từ điển về Mô hình trình tự. Để xem tất cả các thuật ngữ trong từ điển, hãy nhấp vào đây.
B
bigram
N-gram trong đó N=2.
E
vấn đề về hiệu ứng chuyển màu bùng nổ
Xu hướng độ dốc trong mạng nơron sâu (đặc biệt là mạng nơron tái sinh) trở nên dốc (cao) một cách đáng ngạc nhiên. Độ dốc dốc thường gây ra các bản cập nhật rất lớn đối với trọng số của mỗi nút trong một mạng nơron sâu.
Các mô hình gặp phải vấn đề về độ dốc tăng vọt sẽ khó hoặc không thể huấn luyện. Tính năng Cắt màu chuyển tiếp có thể giảm thiểu vấn đề này.
So sánh với vấn đề về độ dốc biến mất.
F
cổng quên
Phần của tế bào Long Short-Term Memory (Bộ nhớ ngắn hạn dài hạn) điều chỉnh luồng thông tin qua tế bào. Cổng quên duy trì ngữ cảnh bằng cách quyết định loại bỏ thông tin nào khỏi trạng thái ô.
G
cắt hiệu ứng chuyển màu
Một cơ chế thường dùng để giảm thiểu vấn đề tăng dần bằng cách giới hạn (cắt) giá trị tối đa của độ dốc một cách nhân tạo khi sử dụng lệch độ dốc để huấn luyện một mô hình.
L
Bộ nhớ dài hạn ngắn hạn (LSTM)
Một loại tế bào trong mạng nơron tái sinh dùng để xử lý các trình tự dữ liệu trong các ứng dụng như nhận dạng chữ viết tay, dịch máy và chú thích hình ảnh. LSTM giải quyết vấn đề về độ dốc biến mất xảy ra khi huấn luyện RNN do các trình tự dữ liệu dài bằng cách duy trì nhật ký ở trạng thái bộ nhớ nội bộ dựa trên dữ liệu đầu vào và ngữ cảnh mới từ các ô trước đó trong RNN.
LSTM
Từ viết tắt của Bộ nhớ ngắn hạn dài.
Không
N-gram
Một chuỗi có thứ tự gồm N từ. Ví dụ: truly madly là một từ 2 âm tiết. Vì thứ tự có liên quan, madly truly là một từ 2 gram khác với truly madly.
| Không | (Các) tên của loại N-gram này | Ví dụ |
|---|---|---|
| 2 | bigram hoặc 2-gram | đi, đến, ăn trưa, ăn tối |
| 3 | ba ký tự hoặc 3 ký tự | ate too much, three blind mice, the bell tolls |
| 4 | 4-gram | walk in the park, dust in the wind, the boy ate lentils |
Nhiều mô hình hiểu ngôn ngữ tự nhiên dựa vào N-gram để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử người dùng đã nhập three blind (3 người mù). Mô hình NLU dựa trên trigram có thể dự đoán rằng người dùng sẽ nhập chuột tiếp theo.
So sánh N-gram với túi từ, là các tập hợp từ không theo thứ tự.
Điểm
mạng nơron tái sinh
Một mạng nơron được chạy nhiều lần một cách có chủ ý, trong đó các phần của mỗi lần chạy sẽ được đưa vào lần chạy tiếp theo. Cụ thể, các lớp ẩn từ lần chạy trước cung cấp một phần đầu vào cho cùng một lớp ẩn trong lần chạy tiếp theo. Mạng nơron tái sinh đặc biệt hữu ích cho việc đánh giá các trình tự, nhờ đó các lớp ẩn có thể học từ các lần chạy trước của mạng nơron trên các phần trước của trình tự.
Ví dụ: hình sau đây cho thấy một mạng nơron tái sinh chạy bốn lần. Lưu ý rằng các giá trị được học trong các lớp ẩn từ lần chạy đầu tiên sẽ trở thành một phần của dữ liệu đầu vào cho cùng các lớp ẩn trong lần chạy thứ hai. Tương tự, các giá trị được học trong lớp ẩn trong lần chạy thứ hai trở thành một phần của dữ liệu đầu vào cho cùng một lớp ẩn trong lần chạy thứ ba. Bằng cách này, mạng nơron tái sinh sẽ dần dần huấn luyện và dự đoán ý nghĩa của toàn bộ trình tự thay vì chỉ ý nghĩa của từng từ.
RNN
Viết tắt của mạng nơron tái sinh.
S
mô hình trình tự
Mô hình có dữ liệu đầu vào có sự phụ thuộc tuần tự. Ví dụ: dự đoán video tiếp theo được xem dựa trên trình tự các video đã xem trước đó.
T
bước thời gian
Một ô "đã mở ra" trong một mạng nơron tái sinh. Ví dụ: hình sau đây cho thấy ba bước thời gian (được gắn nhãn bằng các chỉ số dưới t-1, t và t+1):
ba ký tự
N-gram trong đó N=3.
V
vấn đề về độ dốc biến mất
Xu hướng của độ dốc của các lớp ẩn ban đầu của một số mạng nơron sâu trở nên phẳng một cách đáng ngạc nhiên (thấp). Độ dốc ngày càng thấp dẫn đến các thay đổi ngày càng nhỏ đối với trọng số trên các nút trong mạng nơron sâu, dẫn đến việc học ít hoặc không học được. Các mô hình gặp phải vấn đề về độ dốc biến mất sẽ khó hoặc không thể huấn luyện. Các ô Bộ nhớ ngắn hạn dài sẽ giải quyết vấn đề này.
So sánh với vấn đề về độ dốc tăng vọt.