Mô-đun trước đã giới thiệu khái niệm về mất mát. Trong mô-đun này, bạn sẽ tìm hiểu cách một mô hình học máy có thể lặp lại giảm tổn thất.
Phương pháp học lặp lại có thể nhắc bạn nhớ đến trò chơi "Hot and Cold" dành cho trẻ em khi tìm một đồ vật ẩn như một chiếc chuông. Trong trò chơi này, "đối tượng ẩn" là mô hình phù hợp nhất có thể. Bạn sẽ bắt đầu với một dự đoán gần đúng ("Giá trị của \(w_1\) là 0") và chờ hệ thống cho biết tổn thất là bao nhiêu. Sau đó, bạn sẽ thử một phỏng đoán khác ("Giá trị của \(w_1\) là 0,5") để xem tổn thất là bao nhiêu. À, bạn đang dần ấm hơn rồi. Thực ra nếu bạn chơi đúng trò chơi này thì thường bạn sẽ ấm hơn. Bí quyết thực sự để chơi trò chơi này là cố gắng tìm ra mô hình tốt nhất có thể một cách hiệu quả nhất có thể.
Hình sau đây gợi ý quy trình thử và sửa lỗi lặp lại mà các thuật toán học máy sử dụng để huấn luyện một mô hình:
Hình 1. Phương pháp lặp lại để huấn luyện một mô hình.
Chúng tôi sẽ sử dụng phương pháp lặp lại này trong Khoá học sự cố về học máy, nêu chi tiết nhiều chức năng, đặc biệt là trong đám mây mãnh liệt có nhãn "Mô hình (Chức năng dự đoán)". Các chiến lược lặp lại phổ biến trong công nghệ học máy, chủ yếu vì chúng mở rộng được đến các tập dữ liệu lớn.
"model" lấy một hoặc nhiều tính năng làm dữ liệu đầu vào và trả về một thông tin dự đoán làm đầu ra. Để đơn giản hoá, hãy xem xét một mô hình có một tính năng (\(x_1\)) và trả về một thông tin dự đoán (\(y'\)):
Chúng ta nên đặt giá trị ban đầu nào cho \(b\)và \(w_1\)? Đối với các bài toán hồi quy tuyến tính, hoá ra các giá trị bắt đầu không quan trọng. Chúng ta có thể chọn các giá trị ngẫu nhiên, nhưng thay vào đó, chúng ta sẽ chỉ lấy các giá trị nhỏ sau đây:
- \(b\) = 0
- \(w_1\) = 0
Giả sử giá trị tính năng đầu tiên là 10. Việc đưa giá trị tính năng đó vào hàm dự đoán sẽ tạo ra:
Phần "Tính toán tổn thất" của sơ đồ là hàm tổn hao mà mô hình sẽ sử dụng. Giả sử chúng ta sử dụng hàm tổn hao bình phương. Hàm tổn hao nhận 2 giá trị đầu vào:
- \(y'\): Dự đoán của mô hình cho các tính năng x
- \(y\): Nhãn chính xác tương ứng với các đối tượng x.
Cuối cùng, chúng ta đã đến phần "Tính toán cập nhật tham số" trong sơ đồ. Tại đây, hệ thống học máy sẽ kiểm tra giá trị của hàm tổn thất, đồng thời tạo ra các giá trị mới cho \(b\) và \(w_1\). Bây giờ, chỉ cần giả định rằng chiếc hộp bí ẩn này tạo ra các giá trị mới, sau đó hệ thống học máy sẽ đánh giá lại tất cả các tính năng đó đối với tất cả các nhãn đó, tạo ra một giá trị mới cho hàm tổn thất, từ đó tạo ra các giá trị tham số mới. Và quá trình học sẽ tiếp tục lặp lại cho đến khi thuật toán tìm ra các tham số mô hình có tổn thất thấp nhất có thể. Thông thường, bạn lặp lại cho đến khi tổn thất tổng thể ngừng thay đổi hoặc ít nhất là thay đổi cực kỳ chậm. Khi điều đó xảy ra, chúng tôi nói rằng mô hình đã hội tụ.