Để huấn luyện một mô hình, chúng ta cần một cách hiệu quả để giảm tỷ lệ mất mô hình. Phương pháp lặp lại là một phương thức được sử dụng rộng rãi để giảm tình trạng mất mát, đồng thời cũng dễ dàng và hiệu quả như đi bộ xuống đồi.
Giảm tổn thất
Làm cách nào để giảm thiểu tổn thất?
- Siêu tham số là các chế độ cài đặt cấu hình dùng để tinh chỉnh cách huấn luyện mô hình.
- Đạo hàm của (y – y')2 đối với trọng số và độ chệch cho chúng ta biết mức mất mát thay đổi như thế nào trong một ví dụ cụ thể
- Dễ tính toán và có độ lồi
- Vì vậy, chúng tôi liên tục thực hiện các bước nhỏ theo hướng giảm thiểu mất mát
- Chúng tôi gọi đây là Các bước chuyển màu (nhưng chúng thực sự là các Bước chuyển màu)
- Chiến lược này được gọi là Giảm độ dốc
Sơ đồ khối của độ dốc
- Thử Bài tập giảm độ dốc
- Khi bạn tập thể dục xong, hãy nhấn nút phát ▶ để tiếp tục
Khởi tạo trọng số
- Đối với các bài toán lồi, trọng số có thể bắt đầu ở bất kỳ vị trí nào (ví dụ: tất cả đều là số 0)
- Hình lồi: hình dung như hình cái bát
- Tối thiểu 1 sản phẩm
Khởi tạo trọng số
- Đối với các bài toán lồi, trọng số có thể bắt đầu ở bất kỳ vị trí nào (ví dụ: tất cả đều là số 0)
- Hình lồi: hình dung như hình cái bát
- Tối thiểu 1 sản phẩm
- Dự đoán trước: không đúng với mạng nơron
- Không lồi: nghĩ về thùng trứng
- Nhiều hơn một mức tối thiểu
- Phần phụ thuộc lớn vào giá trị ban đầu
SGD và Giảm độ dốc từng đợt nhỏ
- Có thể tính toán độ dốc trên toàn bộ tập dữ liệu trên mỗi bước, nhưng việc này hoá ra là không cần thiết
- Tính toán chuyển màu trên các mẫu dữ liệu nhỏ hoạt động tốt
- Nhận một mẫu ngẫu nhiên mới trên mỗi bước
- Stochastic Gradient Descent: mỗi lần một ví dụ
- Giảm dần chuyển màu theo lô: các lô từ 10-1000
- Số lượt mất mát và độ dốc được tính trung bình trong lô