Độ chính xác
Hãy khám phá các lựa chọn bên dưới.
Trong trường hợp nào sau đây, giá trị chính xác cao sẽ cho thấy rằng mô hình Máy học đang hoạt động hiệu quả?
Tình trạng nguy hiểm nhưng có thể chữa được nhưng lại gây ảnh hưởng đến 0,01% dân số. Mô hình máy học sử dụng các triệu chứng làm đặc điểm và dự đoán
mối đe doạ này với độ chính xác là 99,99%.
Độ chính xác là chỉ số kém ở đây. Sau cùng, ngay cả một "dumb" mô hình
luôn dự đoán "không bị bệnh" vẫn sẽ chính xác 99,99%.
Do nhầm lẫn việc dự đoán "không bị bệnh" đối với một người thật sự bị bệnh
có thể gây tử vong.
Một con gà robot đắt tiền băng qua một con đường rất nhộn nhịp
một nghìn lần mỗi ngày. Mô hình máy học đánh giá mô hình lưu lượng truy cập và dự đoán thời điểm con gà này có thể băng qua đường một cách an toàn với độ chính xác là 99,99%.
Giá trị chính xác 99,99% trên một con đường rất đông đúc cho thấy rằng mô hình Máy học tốt hơn nhiều so với cơ hội. Tuy nhiên, trong một số chế độ cài đặt, chi phí để tạo ra một lỗi nhỏ vẫn quá cao.
Độ chính xác 99,99% có nghĩa là gà phải được thay thế trung bình 10 ngày một lần. (Gà cũng có thể gây ra hỏng hóc trên diện rộng cho những chiếc ô tô gặp phải.)
Trong trò chơi roulette, một quả bóng được thả vào một bánh xe quay và cuối cùng rơi vào một trong 38 khe. Bằng cách sử dụng các tính năng trực quan (vòng quay của quả bóng, vị trí của bánh xe khi bóng rơi, chiều cao của quả bóng trên bánh xe), mô hình máy học có thể dự đoán khe mà bóng sẽ tiếp cận ở độ chính xác 4%.
Mô hình máy học này đang đưa ra những dự đoán tốt hơn nhiều so với cơ hội; dự đoán
ngẫu nhiên sẽ đúng 1/38 thời gian — mang lại độ chính xác 2,6%.
Mặc dù độ chính xác của mô hình là "only" 4%, nhưng lợi ích của thành công
vượt xa những bất lợi của thất bại.
Chính xác
Hãy khám phá các lựa chọn bên dưới.
Hãy xem xét mô hình phân loại giúp phân tách email thành hai danh mục:
"spam" hoặc "không phải thư rác." Nếu bạn tăng ngưỡng phân loại, điều gì sẽ xảy ra với độ chính xác?
Tăng lên chắc chắn.
Việc tăng ngưỡng phân loại thường làm tăng độ chính xác; tuy nhiên, độ chính xác không đảm bảo sẽ tăng đơn điệu
khi chúng tôi tăng ngưỡng này.
Có lẽ sẽ tăng.
Nhìn chung, việc tăng ngưỡng phân loại sẽ làm giảm kết quả dương tính giả, do đó làm tăng độ chính xác.
Có thể sẽ giảm.
Nhìn chung, việc tăng ngưỡng phân loại sẽ làm giảm kết quả dương tính giả, do đó làm tăng độ chính xác.
Giảm hẳn.
Nhìn chung, việc tăng ngưỡng phân loại sẽ làm giảm kết quả dương tính giả, do đó làm tăng độ chính xác.
Mức độ truy lại
Hãy khám phá các lựa chọn bên dưới.
Hãy xem xét mô hình phân loại giúp phân tách email thành hai danh mục:
"spam" hoặc "không phải thư rác." Nếu bạn tăng ngưỡng phân loại, điều gì sẽ xảy ra để thu hồi?
Luôn tăng.
Việc tăng ngưỡng phân loại sẽ gây ra cả hai vấn đề sau:
- Số dương tính thực tế sẽ giảm hoặc giữ nguyên.
- Số lượng âm tính giả sẽ tăng hoặc giữ nguyên.
Luôn giảm hoặc giữ nguyên.
Việc tăng ngưỡng phân loại sẽ làm cho số lượng dương tính thực sự giảm hoặc giữ nguyên và sẽ làm cho số lượng âm tính giả tăng lên hoặc giữ nguyên. Do đó,
mức độ ghi nhớ sẽ không thay đổi hoặc giảm dần.
Luôn giữ nguyên.
Việc tăng ngưỡng phân loại sẽ làm cho số lượng dương tính thực sự giảm hoặc giữ nguyên và sẽ làm cho số lượng âm tính giả tăng lên hoặc giữ nguyên. Do đó,
mức độ ghi nhớ sẽ không thay đổi hoặc giảm dần.
Độ chính xác và thu hồi
Hãy khám phá các lựa chọn bên dưới.
Hãy xem xét hai mô hình – A và B – mỗi mô hình đánh giá cùng một tập dữ liệu.
Câu nào sau đây là đúng?
Nếu mô hình A có độ chính xác cao hơn mô hình B, thì mô hình A sẽ tốt hơn.
Mặc dù độ chính xác cao hơn là rất tốt, tuy nhiên, việc này có thể làm giảm đáng kể mức độ ghi nhớ. Nhìn chung, chúng ta cần xem xét cả độ chính xác và mức độ ghi nhớ cùng nhau, hoặc các chỉ số tóm tắt như AUC mà chúng ta sẽ đề cập tiếp theo.
Nếu mô hình A có mức độ ghi nhớ tốt hơn mô hình B, thì mô hình A sẽ phù hợp hơn.
Mặc dù khả năng ghi nhớ tốt hơn là đáng tin cậy, nhưng việc này có thể làm giảm độ chính xác đáng kể. Nhìn chung, chúng tôi cần xem xét cả độ chính xác và mức độ ghi nhớ quảng cáo, hoặc các chỉ số tóm tắt như AUC. Chúng tôi sẽ trình bày tiếp theo về các chỉ số này.
Nếu mô hình A có độ chính xác cao hơn và mức độ ghi nhớ tốt hơn so với mô hình B, thì mô hình A có thể tốt hơn.
Nhìn chung, mô hình có hiệu suất tốt hơn một mô hình khác về cả độ chính xác và mức độ ghi nhớ có thể là mô hình tốt hơn. Rõ ràng, chúng tôi sẽ cần đảm bảo rằng việc so sánh được thực hiện tại một điểm chính xác / thu hồi hữu ích trong thực tế để việc này có ý nghĩa. Ví dụ: giả sử mô hình phát hiện mánh khoé tăng thứ hạng của chúng tôi cần có độ chính xác tối thiểu là 90% để trở nên hữu ích và tránh các cảnh báo sai không cần thiết. Trong trường hợp này, việc so sánh một mô hình với độ chính xác {20%, mức độ ghi nhớ 99%} với một mô hình khác ở độ chính xác {15%, mức độ ghi nhớ 98%} không đặc biệt mang tính hướng dẫn, vì cả hai mô hình này đều không đáp ứng yêu cầu về độ chính xác 90%. Tuy nhiên, lưu ý rằng đây là một cách hiệu quả để so sánh các mô hình khi sử dụng độ chính xác và mức độ ghi nhớ.