Mất là chỉ số bằng số mô tả dự đoán của một mô hình sai đến mức nào là thế nào. Chỉ số tổn thất đo lường khoảng cách giữa các dự đoán của mô hình và các dữ liệu thực tế . Mục tiêu của việc huấn luyện một mô hình là giảm thiểu tổn thất, giảm giá trị thấp nhất có thể.
Trong hình sau, bạn có thể trình bày trực quan tình trạng mất mát qua các mũi tên lấy từ dữ liệu trỏ đến mô hình. Các mũi tên cho biết tiến độ dự đoán của mô hình các giá trị thực tế.
Hình 9. Mức giảm sút được đo lường từ giá trị thực tế đến giá trị dự đoán.
Khoảng cách mất mát
Trong số liệu thống kê và công nghệ học máy, dữ liệu thiếu hụt đo lường mức chênh lệch giữa giá trị dự đoán và giá trị thực tế. Tổn thất tập trung vào khoảng cách giữa các giá trị, chứ không phải chỉ đường. Ví dụ: nếu mô hình dự đoán là 2, nhưng giá trị thực tế là 5, chúng ta không quan tâm đến việc tổn thất là âm $ -3 $ ($ 2-5=-3 $). Thay vào đó, chúng ta quan tâm rằng khoảng cách giữa các giá trị là $ 3 $. Như vậy, tất cả phương pháp tính tổn thất thì loại bỏ dấu.
Sau đây là 2 phương pháp phổ biến nhất để xoá biển báo:
- Lấy giá trị tuyệt đối của hiệu số giữa giá trị thực tế và truy vấn dự đoán.
- Bình phương mức chênh lệch giữa giá trị thực tế và giá trị dự đoán.
Các kiểu tổn thất
Có 4 kiểu mất mát chính trong hồi quy tuyến tính được nêu trong bảng sau.
| Loại tổn thất | Định nghĩa | Phương trình |
|---|---|---|
| L1 giảm sút | Tổng các giá trị tuyệt đối của hiệu số giữa giá trị dự đoán và giá trị thực tế. | $ ∑ | giá trị thực\ - giá trị dự đoán\ | USD |
| Lỗi tuyệt đối trung bình (MAE) | Giá trị trung bình của mức tổn thất L1 trong một nhóm ví dụ. | $ \frac{1}{N} ∑ | giá trị thực\ - giá trị dự đoán\ | USD |
| Mất L2 | Tổng hiệu của bình phương giữa giá trị dự đoán và giá trị thực tế. | $ ∑(giá trị thực\ - giá trị dự đoán\)^2 $ |
| Lỗi bình phương trung bình (MSE) | Giá trị trung bình của mức tổn thất L2 trong một nhóm ví dụ. | $ \frac{1}{N} ∑ (giá trị thực tế\ - giá trị dự đoán\)^2 $ |
Sự khác biệt về chức năng giữa tổn thất L1 và tổn thất L2 (hoặc giữa MAE và MSE) là bình phương. Khi sự khác biệt giữa và nhãn là lớn, thì việc bình phương làm cho tổn thất còn lớn hơn nữa. Khi chênh lệch nhỏ (nhỏ hơn 1), bình phương làm cho tổn thất thậm chí nhỏ hơn.
Khi xử lý nhiều ví dụ cùng một lúc, bạn nên tính giá trị trung bình cho những tổn thất trên tất cả các ví dụ, cho dù sử dụng MAE hay MSE.
Ví dụ về cách tính khoản tổn thất
Sử dụng dòng phù hợp nhất trước đó, chúng tôi sẽ tính mức tổn thất L2 cho một ví dụ. Từ phù hợp nhất, chúng tôi có các giá trị sau đây cho trọng số và độ chệch:
- $ \small{Trọng lượng: -3,6} $
- $ \small{Bias: 30} $
Nếu mô hình dự đoán rằng một chiếc xe 2.370 pound sẽ nhận được 21,5 dặm mỗi gallon, nhưng nó thực tế nhận được 24 dặm mỗi gallon, chúng ta sẽ tính được mức tổn thất L2 là sau:
| Giá trị | Phương trình | Kết quả |
|---|---|---|
| Dự đoán | $\small{bias + (trọng số * tính năng\ giá trị)}$ $\small{30 + (-3,6*2,37)}$ |
$\small{21,5}$ |
| Giá trị thực tế | $ \small{ label } $ | $ \small{ 24 } $ |
| Giảm L2 | $ \small{ (dự đoán - giá trị thực tế\)^2} $ $\small{ (21,5 – 24)^2 }$ |
$\small{6,25}$ |
Trong ví dụ này, mức tổn thất L2 cho một điểm dữ liệu là 6,25.
Chọn mức giảm
Việc quyết định dùng MAE hay MSE phụ thuộc vào tập dữ liệu và cách bạn muốn xử lý một số dự đoán nhất định. Thông thường, hầu hết các giá trị đối tượng trong một tập dữ liệu đều nằm trong một phạm vi riêng biệt. Ví dụ: xe ô tô thường nằm trong khoảng từ năm 2000 đến 5.000 pound và đi được từ 8 đến 50 dặm mỗi gallon. Một chiếc xe hơi nặng 8.000 pound, hay một chiếc xe chạy được 160 km/gallon, nằm ngoài phạm vi thông thường và sẽ được coi là điểm ngoại lai.
Giá trị ngoại lệ cũng có thể đề cập đến khoảng cách giữa các dự đoán của mô hình với giá trị. Ví dụ: một chiếc xe hơi nặng 3.000 pound hoặc một chiếc xe đi được 40 dặm mỗi gallon đều nằm trong phạm vi thông thường. Tuy nhiên, một chiếc xe nặng 3.000 pound 40 dặm/gallon sẽ là một điểm ngoại lai về mặt dự đoán của mô hình bởi vì mô hình này sẽ dự đoán rằng một chiếc xe hơi 3.000 pound sẽ nhận được khoảng từ 18 đến 20 dặm/gallon.
Khi chọn hàm suy giảm phù hợp nhất, hãy cân nhắc cách bạn muốn mô hình xử lý các điểm ngoại lai. Ví dụ: MSE hướng mô hình hướng về các điểm ngoại lai, trong khi MAE thì không. Trận thua L2 dẫn đến mức phạt cao hơn nhiều so với L1 bị mất. Ví dụ: các hình ảnh sau đây cho thấy một mô hình đã được huấn luyện bằng MAE và một mô hình được huấn luyện bằng MSE. Đường màu đỏ biểu thị đầy đủ mô hình đã huấn luyện sẽ được dùng để đưa ra dự đoán. Các điểm ngoại lai gần hơn với mô hình được huấn luyện bằng MSE thay vì mô hình được huấn luyện bằng MAE.
Hình 10. Một mô hình được huấn luyện bằng MSE sẽ đưa mô hình đó đến gần các điểm ngoại lai hơn.
Hình 11 Một mô hình được huấn luyện bằng MAE sẽ khác xa với các bên ngoài.
Lưu ý mối quan hệ giữa mô hình và dữ liệu:
MSE. Mô hình này gần các điểm ngoại lai hơn nhưng cũng cách xa hầu hết các điểm ngoại lai các điểm dữ liệu khác.
MAE. Mô hình này cách xa các điểm ngoại lai hơn nhưng gần với hầu hết các điểm ngoại lai các điểm dữ liệu khác.
Kiểm tra sự hiểu biết của bạn
Hãy xem xét 2 sơ đồ sau:
|
|