เส้นโค้ง ROC
เส้นโค้ง ROC (เส้นโค้งลักษณะเฉพาะของตัวรับสัญญาณ) คือกราฟที่แสดงประสิทธิภาพของโมเดลการแยกประเภทตามเกณฑ์การจัดประเภททั้งหมด เส้นโค้งนี้จะวาดพารามิเตอร์ 2 ตัวดังนี้
- อัตราผลบวกจริง
- อัตราผลบวกเท็จ
อัตราผลบวกจริง (TPR) เป็นคําพ้องความหมายของการเรียกคืน จึงกําหนดได้ดังนี้
อัตราผลบวกลวง (FPR) มีการกําหนดไว้ดังนี้
เส้นโค้ง ROC จะแสดง TPR เทียบกับ FPR ตามเกณฑ์การจัดประเภทที่แตกต่างกัน การลดเกณฑ์การจัดประเภทจะจัดประเภทรายการเป็นบวกมากขึ้น ซึ่งเป็นการเพิ่มทั้งผลบวกลวงและผลบวกจริง รูปต่อไปนี้แสดงเส้นโค้ง ROC ทั่วไป
รูปที่ 4 อัตรา TP เทียบกับ FP โดยมีเกณฑ์การแยกประเภทต่างกัน
ในการคํานวณจุดในเส้นโค้ง ROC เราอาจประเมินรูปแบบการถดถอยแบบโลจิสติกส์หลายๆ ครั้งด้วยเกณฑ์การแยกประเภทที่ต่างกัน แต่วิธีนี้อาจไร้ประสิทธิภาพ แต่โชคดีที่อัลกอริทึมที่จัดเรียงและมีประสิทธิภาพสูงสามารถให้ข้อมูลนี้แก่เรา หรือที่เรียกว่า AUC
AUC: พื้นที่ใต้เส้นโค้ง ROC
AUC ย่อมาจาก "พื้นที่ใต้เส้นโค้ง ROC" กล่าวคือ AUC จะวัดพื้นที่ 2 มิติทั้งหมดใต้เส้นโค้ง ROC ทั้งหมด (ให้นึกถึงแคลคูลัสที่สําคัญ) ตั้งแต่ (0,0) ถึง (1,1)
รูปที่ 5 AUC (พื้นที่ใต้เส้นโค้ง ROC)
AUC มอบการวัดประสิทธิภาพโดยรวมจากเกณฑ์การจัดประเภทที่เป็นไปได้ทั้งหมด วิธีหนึ่งในการตีความ AUC คือความน่าจะเป็นที่โมเดลจะได้รับตัวอย่างเชิงบวกที่สุ่มมากกว่าตัวอย่างเชิงลบที่สุ่มขึ้นมา ตัวอย่างเช่น ตัวอย่างต่อไปนี้ซึ่งจัดเรียงจากซ้ายไปขวาตามลําดับจากการคาดการณ์การถดถอยแบบโลจิสติกส์ที่น้อยไปมาก
รูปที่ 6 การคาดการณ์ที่มีการจัดอันดับจากคะแนนการถดถอยแบบโลจิสติกส์จากน้อยไปหามาก
AUC แสดงถึงความน่าจะเป็นที่ตัวอย่างแบบสุ่ม (สีเขียว) จะวางอยู่ทางด้านขวาของตัวอย่างเชิงลบแบบสุ่ม (สีแดง)
AUC มีค่าตั้งแต่ 0 ถึง 1 โมเดลที่การคาดการณ์ผิด 100% มี AUC เท่ากับ 0.0 ส่วนการคาดการณ์ที่ถูกต้อง 100% มี AUC เท่ากับ 1.0
AUC เป็นที่ต้องการเนื่องจากเหตุผล 2 ข้อต่อไปนี้
- AUC สเกลแปรผัน เมตริกนี้จะวัดว่า ระบบจัดอันดับที่ดีเพียงใด ไม่ใช่ค่าสัมบูรณ์
- AUC คือclass--threshold-invariant การวัดคุณภาพของการคาดการณ์รูปแบบต่างๆ โดยไม่คํานึงถึงเกณฑ์การจัดประเภทที่เลือก
อย่างไรก็ตาม เหตุผลทั้ง 2 ข้อนี้มาพร้อมกับข้อควรระวัง ซึ่งอาจจํากัดประโยชน์ของ AUC ในกรณีการใช้งานบางกรณี ดังนี้
ค่าความไม่คงที่ของการปรับขนาดอาจไม่เป็นที่ต้องการเสมอไป ในบางครั้ง เราอาจต้องการเอาต์พุตของความน่าจะเป็นที่ปรับเทียบที่ดี และ AUC ก็ไม่ได้บอกให้เราทราบเลย
ความไม่เป็นทางการของเกณฑ์การจัดประเภทไม่เป็นที่ต้องการเสมอไป ในกรณีที่มีความแตกต่างอย่างมากในค่าใช้จ่ายเชิงลบที่เป็นเท็จเทียบกับผลบวกลวง การลดข้อผิดพลาดในการจัดประเภทประเภทหนึ่งเป็นสิ่งสําคัญอย่างยิ่ง ตัวอย่างเช่น เมื่อทําการตรวจจับสแปมทางอีเมล คุณควรให้ความสําคัญกับการลดจํานวนการตรวจสอบที่ผิดพลาด (แม้ว่าผลลัพธ์จะเป็นลบปลอมก็ตาม) AUC ไม่ใช่เมตริกที่มีประโยชน์สําหรับการเพิ่มประสิทธิภาพประเภทนี้