Các dự đoán hồi quy logistic không được khách quan. Đó là:
"trung bình dự đoán" nên ≈ "trung bình quan sát"
Độ chệch dự đoán là số lượng đo lường mức độ chênh lệch giữa 2 mức trung bình đó. Đó là:
Xu hướng dự đoán khác 0 đáng kể cho bạn biết có lỗi ở đâu đó trong mô hình, vì điều đó cho thấy mô hình này có sai về tần suất nhãn tích cực xảy ra.
Ví dụ: giả sử chúng tôi biết rằng trung bình, 1% email là thư rác. Nếu chúng ta không biết gì về một email nhất định, chúng ta nên dự đoán rằng email đó có khả năng là thư rác. Tương tự, một mô hình spam phù hợp sẽ dự đoán trung bình 1% khả năng email là thư rác. (Nói cách khác, nếu chúng ta tính trung bình khả năng dự đoán của mỗi email là thư rác, thì kết quả sẽ là 1%.) Thay vào đó, nếu dự đoán trung bình của mô hình này là 20% khả năng là nội dung vi phạm, chúng tôi có thể kết luận rằng mô hình đó thể hiện sai lệch dự đoán.
Các nguyên nhân gốc rễ có thể xảy ra do thiên vị dự đoán là:
- Bộ tính năng chưa hoàn chỉnh
- Tập dữ liệu ồn
- Quy trình xe buggy
- Mẫu huấn luyện thiên về
- Thường xuyên quá mức
Bạn có thể muốn chỉnh sửa độ chệch dự đoán bằng cách xử lý hậu kỳ mô hình đã học, tức là bằng cách thêm một lớp hiệu chỉnh để điều chỉnh đầu ra của mô hình nhằm giảm độ chệch dự đoán. Ví dụ: nếu mô hình của bạn có độ chệch +3%, bạn có thể thêm một lớp hiệu chỉnh để giảm dự đoán trung bình xuống 3%. Tuy nhiên, bạn không nên thêm lớp hiệu chỉnh vì những lý do sau:
- Bạn đang khắc phục dấu hiệu này chứ không phải nguyên nhân.
- Bạn đã xây dựng một hệ thống tàn bạo hơn mà bây giờ bạn phải cập nhật.
Nếu có thể, hãy tránh các lớp hiệu chỉnh. Các dự án sử dụng lớp hiệu chỉnh có xu hướng phụ thuộc vào việc sử dụng đó – sử dụng các lớp hiệu chỉnh để khắc phục tất cả các lỗi mô hình. Cuối cùng, việc duy trì các lớp hiệu chỉnh có thể trở thành một ác mộng.
Giới hạn nhóm và dự đoán
Hồi quy logistic dự đoán giá trị giữa 0 và 1. Tuy nhiên, tất cả các ví dụ có gắn nhãn là chính xác là 0 (ví dụ: "không phải là spam") hoặc chính xác là 1 (ví dụ: "spam". Do đó, khi kiểm tra độ chệch dự đoán, bạn không thể xác định chính xác độ chệch dự đoán chỉ dựa trên một ví dụ; bạn phải kiểm tra độ chệch dự đoán trên một "bộ&chit;; ví dụ. Nghĩa là, độ chệch dự đoán đối với hồi quy logistic chỉ có ý nghĩa khi nhóm đủ các ví dụ với nhau để có thể so sánh một giá trị dự đoán (ví dụ: 0, 392) với các giá trị quan sát được (ví dụ: 0, 394).
Bạn có thể tạo các nhóm theo các cách sau:
- Chia nhỏ các cụm từ gợi ý mục tiêu theo tuyến tính.
- Các hằng số tạo thành.
Hãy xem xét biểu đồ hiệu chỉnh sau từ một mô hình cụ thể. Mỗi dấu chấm đại diện cho một bộ chứa 1.000 giá trị. Các trục có ý nghĩa sau:
- Trục x biểu thị giá trị trung bình của mô hình được dự đoán cho nhóm đó.
- Trục y biểu thị giá trị trung bình thực tế trong tập dữ liệu cho nhóm đó.
Cả hai trục đều là thang đo lôgarit.
Hình 8. Đường cong dự kiến (thang đo lôgarit)
Tại sao các cụm từ gợi ý lại kém chất lượng cho một phần của mô hình? Sau đây là một vài khả năng:
- Tập huấn luyện không thể hiện đầy đủ một số tập hợp con của không gian dữ liệu.
- Một số tập hợp con của tập dữ liệu sẽ ồn hơn những tập hợp con khác.
- Mô hình này quá thường xuyên. (Hãy cân nhắc giảm giá trị của lambda.)