ROC และ AUC
ดูตัวเลือกด้านล่าง
เส้นโค้ง ROC ใดต่อไปนี้ทําให้เกิดค่า AUC มากกว่า 0.5
ซึ่งเป็นเส้นโค้ง ROC ที่ดีที่สุด เนื่องจากมีอันดับบวกทั้งหมดมากกว่าเชิงลบทั้งหมด มี AUC เป็น 1.0
ในทางปฏิบัติ หากคุณมีตัวแยกประเภท "perfect" ที่มี AUC เป็น 1.0 คุณควรน่าสงสัย เนื่องจากอาจบ่งชี้ว่าข้อบกพร่องอยู่ในโมเดล เช่น คุณอาจสร้างข้อมูลการฝึกที่มากเกินไป หรืออาจจําลองข้อมูลป้ายกํากับในฟีเจอร์ใดฟีเจอร์หนึ่ง
ซึ่งเป็นเส้นโค้ง ROC ที่แย่ที่สุด โดยการจัดอันดับเป็นลบทั้งหมดเหนือเชิงบวกและมี AUC เป็น 0.0 หากคุณจะเปลี่ยนกลับการคาดคะเนทุกข้อ (เปลี่ยนค่าลบเป็นบวกและบวกเป็นลบ) คุณจะได้ตัวแยกประเภทที่สมบูรณ์
เส้นโค้ง ROC นี้มีค่า AUC อยู่ที่ 0.5 ซึ่งหมายความว่าจะจัดอันดับตัวอย่างเชิงบวก
ที่สูงกว่าตัวอย่างเชิงลบแบบสุ่ม 50% ของทั้งหมด ด้วยเหตุนี้ โมเดลการจัดประเภทที่สอดคล้องกันจึงไม่มีมูลค่าเลย เนื่องจากความสามารถในการคาดการณ์ไม่ได้ดีกว่าการคาดเดาแบบสุ่ม
เส้นโค้ง ROC นี้มี AUC ระหว่าง 0.5 ถึง 1.0 หมายความว่าจะจัดอันดับตัวอย่างเชิงบวกแบบสุ่มที่สูงกว่าตัวอย่างเชิงลบมากกว่า 50% ของระยะเวลาทั้งหมด โดยทั่วไปค่า AUC การแยกประเภทไบนารีในชีวิตจริงจะอยู่ในช่วงนี้
เส้นโค้ง ROC นี้มี AUC ระหว่าง 0 ถึง 0.5 หมายความว่าจะจัดอันดับตัวอย่างเชิงบวก
ที่สูงกว่าตัวอย่างเชิงลบแบบสุ่มน้อยกว่า 50% ของระยะเวลาทั้งหมด
ที่จริงแล้วโมเดลที่เกี่ยวข้องจะแย่กว่าการเดาแบบสุ่ม หากเห็นเส้นโค้ง ROC เช่นนี้ นั่นแสดงว่ามีข้อบกพร่องในข้อมูลของคุณ
AUC และการปรับขนาดการคาดการณ์
ดูตัวเลือกด้านล่าง
คุณจะนําการคาดการณ์ทั้งหมดจากโมเดลที่ระบุไปคูณ 2.0 ได้อย่างไร (เช่น หากโมเดลคาดการณ์ 0.4 เราจะคูณด้วย 2.0 เพื่อให้ได้การคาดการณ์ 0.8) เปลี่ยนประสิทธิภาพของโมเดลตามที่วัดโดย AUC
ไม่มีการเปลี่ยนแปลง AUC สนใจเฉพาะคะแนนการคาดการณ์ที่สัมพันธ์กันเท่านั้น
ใช่ AUC อิงตามการคาดคะเนที่เกี่ยวข้อง ดังนั้นการเปลี่ยนรูปแบบใดๆ ของการคาดการณ์ที่คงการจัดอันดับแบบสัมพัทธ์จะไม่มีผลกับ AUC
แต่นี่ไม่ใช่กรณีของเมตริกอื่นๆ เช่น ข้อผิดพลาดกําลังสอง การสูญเสียบันทึก หรือการให้น้ําหนักตามการคาดการณ์ (อภิปรายในภายหลัง)
จึงทําให้ AUC แย่มาก เนื่องจากค่าการคาดการณ์ปิดอยู่
น่าสนใจไม่แพ้กัน แม้ว่าค่าการคาดการณ์จะต่างกัน (และน่าจะไกลกว่าความเป็นจริง) แต่การคูณทั้งหมดด้วย 2.0 จะทําให้ลําดับการคาดการณ์มีค่าเหมือนกัน เนื่องจาก AUC ให้ความสําคัญกับการจัดอันดับแบบสัมพัทธ์เท่านั้น จึงไม่ได้รับผลกระทบจากการปรับขนาดการคาดการณ์ทั่วไป
และจะทําให้ AUC ดียิ่งขึ้น เนื่องจากค่าการคาดคะเนอยู่ไกลกว่านั้นมาก
ปริมาณการกระจายระหว่างการคาดการณ์ไม่ได้ส่งผลต่อ AUC จริงๆ แม้แต่คะแนนการคาดการณ์สําหรับผลบวกค่าบวกแบบสุ่มที่สุ่มมาก็ยังเป็นเพียง eponon ขนาดจิ๋วซึ่งมากกว่าค่าลบที่สุ่มนํามาใช้ ซึ่งจะนับเป็นความสําเร็จจากการสะสมคะแนน AUC โดยรวม