Overfitting: Diễn giải đường cong tổn thất

Việc học máy sẽ đơn giản hơn nhiều nếu tất cả đường cong tổn thất của bạn trông giống như sau trong lần đầu tiên bạn huấn luyện mô hình:

Hình 20. Biểu đồ cho thấy đường cong tổn thất lý tưởng khi huấn luyện mô hình học máy. Đường cong tổn thất biểu thị tổn thất trên trục y so với số bước huấn luyện trên trục x. Khi số lượng bước đào tạo tăng lên, tổn thất bắt đầu cao, sau đó giảm theo hàm mũ và cuối cùng sẽ trở nên phẳng để đạt được tổn thất tối thiểu.
Hình 20. Đường cong tổn hao lý tưởng.

Thật không may, các đường cong tổn thất thường khó diễn giải. Sử dụng trực giác của bạn về các đường cong tổn thất để giải các bài tập trên trang này.

Bài tập 1: Đường cong tổn hao dao động

Hình 21. Một đường cong tổn thất (tổn thất trên trục y; số bước đào tạo trên trục x) trong đó tổn thất không bị phẳng.
            Thay vào đó, tổn thất dao động không đều.
Hình 21. Đường cong tổn hao dao động.
Bạn có thể làm 3 việc gì để cố gắng cải thiện đường cong tổn hao trong Hình 21.
Giảm bộ dữ liệu huấn luyện xuống một số ít ví dụ đáng tin cậy.
Tăng số lượng ví dụ trong tập huấn luyện.
Giảm tốc độ học.
Tăng tốc độ học.
Kiểm tra dữ liệu của bạn theo giản đồ dữ liệu để phát hiện các ví dụ không phù hợp, sau đó xoá các ví dụ không phù hợp khỏi tập huấn luyện.

Bài tập 2. Đường cong tổn thất có sự tăng đột biến

Hình 22. Biểu đồ đường cong tổn thất cho thấy tổn thất giảm xuống một số bước huấn luyện nhất định, sau đó tăng đột biến với các bước huấn luyện tiếp theo.
Hình 22. Mức hao tổn tăng mạnh.
Hai câu lệnh sau đây xác định lý do có thể dẫn đến tổn thất tăng vọt trong Hình 22.
Dữ liệu đầu vào chứa một loạt các giá trị ngoại lai.
Tốc độ học quá thấp.
Tỷ lệ chuẩn hoá quá cao.
Dữ liệu đầu vào chứa một hoặc nhiều NaN – ví dụ: một giá trị do phép chia cho 0 gây ra.

Bài tập 3. Mất mát kiểm thử khác với mất mát huấn luyện

Hình 23. Đường cong tổn thất huấn luyện có vẻ như hội tụ, nhưng tổn thất xác thực bắt đầu tăng sau một số bước huấn luyện nhất định.
Hình 23. Mức tăng mạnh về tỷ lệ mất dữ liệu xác thực.
Câu nào sau đây xác định đúng nhất lý do dẫn đến sự khác biệt này giữa các đường cong tổn thất của tập huấn luyện và tập kiểm thử?
Tốc độ học quá cao.
Mô hình đang điều chỉnh quá mức tập dữ liệu huấn luyện.

Bài tập 4. Đường cong tổn thất bị kẹt

Hình 24. Biểu đồ của một đường cong tổn thất cho thấy tổn thất bắt đầu hội tụ với quá trình huấn luyện, nhưng sau đó hiển thị các mẫu lặp lại trông giống như một sóng hình chữ nhật.
Hình 24. Mất trật tự sau một số bước nhất định.
Câu nào sau đây có khả năng giải thích nhất cho đường cong tổn hao thất thường trong Hình 24?
Tập dữ liệu huấn luyện chứa quá nhiều đặc điểm.
Tập dữ liệu huấn luyện chứa các chuỗi lặp lại của các ví dụ.
Tỷ lệ chuẩn hoá quá cao.