Đường cong ROC
Đường cong ROC (đường cong đặc điểm hoạt động của trình nhận) là một biểu đồ cho thấy hiệu suất của mô hình phân loại ở tất cả các ngưỡng phân loại. Đường cong này hiển thị hai tham số:
- Tỷ lệ dương tính thực
- Tỷ lệ dương tính giả
Tỷ lệ tích cực thực sự (TPR) là từ đồng nghĩa với mức độ ghi nhớ và do đó được xác định như sau:
Tỷ lệ dương tính giả (FPR) được định nghĩa như sau:
Đường cong ROC vẽ đồ thị TPR so với FPR ở các ngưỡng phân loại khác nhau. Việc giảm ngưỡng phân loại sẽ phân loại nhiều mục hơn là dương, do đó tăng cả số dương tính giả và dương tính thực. Hình bên dưới cho thấy đường cong ROC điển hình.
Hình 4. Tỷ lệ TP so với FP ở các ngưỡng phân loại khác nhau.
Để tính toán các điểm trong đường cong ROC, chúng ta có thể đánh giá mô hình hồi quy logistic nhiều lần với các ngưỡng phân loại khác nhau, nhưng cách này sẽ không hiệu quả. May mắn thay, có một thuật toán dựa trên sắp xếp hiệu quả có thể cung cấp thông tin này cho chúng tôi, được gọi là AUC.
AUC: Khu vực dưới đường cong ROC
AUC là viết tắt của "Area under ROC Curve." Điều này có nghĩa là AUC đo toàn bộ khu vực hai chiều bên dưới toàn bộ đường cong ROC (cho rằng phép tính tích phân) từ (0,0) đến (1,1).
Hình 5. AUC (Khu vực dưới Đường cong ROC).
AUC cung cấp một phép đo tổng hợp về hiệu suất trên tất cả các ngưỡng phân loại có thể có. Một cách diễn giải AUC là xác suất mô hình xếp hạng một ví dụ dương tính ngẫu nhiên cao hơn ví dụ phủ định ngẫu nhiên. Ví dụ: trong các ví dụ sau, được sắp xếp theo thứ tự từ trái sang phải theo thứ tự dự đoán hồi quy logistic tăng dần:
Hình 6. Số liệu dự đoán được xếp hạng theo thứ tự tăng dần trong điểm hồi quy logistic.
AUC thể hiện xác suất một ví dụ về số dương (ngẫu nhiên) màu xanh lục được đặt ở bên phải của ví dụ phủ định ngẫu nhiên (màu đỏ).
AUC có giá trị từ 0 đến 1. Mô hình có dự đoán sai 100% có AUC là 0.0; mô hình có dự đoán chính xác 100% có AUC là 1.0.
AUC mong muốn vì hai lý do sau:
- AUC là biến không thể thay đổi tỷ lệ. Chỉ số này đo lường mức độ hiệu quả của cụm từ gợi ý, chứ không phải giá trị tuyệt đối.
- AUC là classclass-Threshold-invariant. Chỉ số này đo lường chất lượng của các dự đoán của mô hình, bất kể ngưỡng phân loại được chọn.
Tuy nhiên, cả hai lý do này đều đi kèm với một số lưu ý. Điều này có thể hạn chế mức độ hữu ích của AUC trong một số trường hợp sử dụng:
Không phải lúc nào bạn cũng có thể thay đổi được tỷ lệ. Ví dụ: đôi khi chúng tôi thực sự cần đến kết quả xác suất đã được hiệu chỉnh tốt, và AUC sẽ không thông báo cho chúng tôi về điều đó.
Chênh lệch ngưỡng phân loại không phải lúc nào cũng đáng mong muốn. Trong trường hợp có sự khác biệt lớn về chi phí âm tính giả so với dương tính giả, thì việc giảm thiểu một loại lỗi phân loại là rất quan trọng. Ví dụ: khi phát hiện email rác, bạn có thể ưu tiên giảm thiểu các kết quả dương tính giả (ngay cả khi điều đó dẫn đến số lượng âm tính giả tăng đáng kể). AUC không phải là chỉ số hữu ích cho loại tối ưu hóa này.