ส่วนก่อนหน้านี้นำเสนอชุดของเมตริกโมเดล ซึ่งทั้งหมดมีการคำนวณที่ ค่าเกณฑ์การแยกประเภทเดียว แต่ถ้าคุณต้องการประเมินผล คุณภาพโมเดลในทุกเกณฑ์ที่เป็นไปได้ คุณต้องใช้เครื่องมือที่แตกต่างกัน
กราฟของตัวรับสัญญาณสำหรับฟีเจอร์การดำเนินการของรีซีฟเวอร์ (ROC)
กราฟ ROC คือการนำเสนอประสิทธิภาพของโมเดลผ่านเกณฑ์ทั้งหมด ชื่อแบบยาว ลักษณะการดำเนินการของตัวรับ คือการคงไว้ชั่วคราว จากการตรวจจับเรดาร์ในช่วงสงครามโลกครั้งที่ 2
กราฟ ROC วาดโดยการคำนวณอัตราผลบวกจริง (TPR) และอัตราผลบวกลวง (FPR) ในทุกเกณฑ์ที่เป็นไปได้ (ในทางปฏิบัติคือ ช่วงที่เลือก) แล้วสร้างกราฟ TPR ผ่าน FPR เป็นโมเดลที่สมบูรณ์แบบ ซึ่งบางเกณฑ์มี TPR เป็น 1.0 และ FPR เป็น 0.0 แสดงด้วยจุดที่ (0, 1) หากมีการละเว้นเกณฑ์อื่นๆ ทั้งหมด หรือในกรณีต่อไปนี้

พื้นที่ใต้กราฟ (AUC)
พื้นที่ใต้กราฟ ROC (AUC) แสดงถึงความน่าจะเป็นที่โมเดล หากได้รับตัวอย่างเชิงบวกและเชิงลบที่เลือกมาแบบสุ่ม จะจัดอันดับ สูงกว่าผลลบ
โมเดลสมบูรณ์แบบด้านบน ซึ่งมีสี่เหลี่ยมจัตุรัสที่มีด้านยาว 1 จะมีค่า พื้นที่ใต้เส้นโค้ง (AUC) ของ 1.0 ซึ่งหมายความว่ามีโอกาส 100% ที่ โมเดลจะจัดอันดับตัวอย่างเชิงบวกที่ถูกสุ่มเลือกอย่างถูกต้องสูงกว่า ตัวอย่างเชิงลบที่เลือกมาแบบสุ่ม หรืออีกนัยหนึ่งคือ หากดูจากอัตราขยายตัวของ จุดข้อมูลด้านล่าง AUC ให้ความน่าจะเป็นที่โมเดลจะวาง รูปสี่เหลี่ยมจัตุรัสที่เลือกมาแบบสุ่มทางด้านขวาของวงกลมที่เลือกแบบสุ่ม โดยไม่เกี่ยวข้องกับ ที่มีการตั้งค่าเกณฑ์ไว้
เพื่อให้เห็นภาพมากขึ้น ตัวแยกประเภทสแปมที่มี AUC 1.0 จะกำหนดให้อีเมลจดหมายขยะแบบสุ่มมีโอกาสสูงที่จะถูก จดหมายขยะมากกว่าอีเมลที่ถูกกฎหมายแบบสุ่ม การแยกประเภทตามจริงของแต่ละ ขึ้นอยู่กับเกณฑ์ที่คุณเลือก
สำหรับตัวแยกประเภทแบบไบนารี โมเดลที่ทำได้เหมือนกับการคาดเดาแบบสุ่มหรือ การพลิกเหรียญมี ROC ที่เป็นเส้นทแยงมุม ตั้งแต่ (0,0) ถึง (1,1) AUC คือ 0.5 หมายถึงความเป็นไปได้ 50% ที่จะมีการจัดอันดับผลบวกแบบสุ่มและ ตัวอย่างเชิงลบ
ในตัวอย่างตัวแยกประเภทสแปม ตัวแยกประเภทสแปมที่มี AUC เท่ากับ 0.5 อีเมลสแปมแบบสุ่มความน่าจะเป็นที่ระบบจะส่งจดหมายขยะมากกว่าการสุ่มอีเมล อีเมลที่ถูกต้องเพียงครึ่งเดียว

(ไม่บังคับ ขั้นสูง) กราฟ Precision-Recall
AUC และ ROC ทำงานได้ดีสำหรับการเปรียบเทียบโมเดลเมื่อชุดข้อมูลมีขนาดคร่าวๆ ให้เกิดความสมดุล ระหว่างคลาสต่างๆ เมื่อชุดข้อมูลไม่สมดุล ความแม่นยำ-ความอ่อนไหว เส้นโค้ง (PRC) และพื้นที่ใต้เส้นโค้งเหล่านั้นอาจให้ผลเปรียบเทียบที่ดีกว่า การแสดงภาพประสิทธิภาพของโมเดล กราฟ Precision-Recall สร้างโดย ความแม่นยำที่พล็อตความแม่นยำบนแกน Y และเรียกคืนบนแกน X จากแกน Y ขั้นต่ำ

AUC และ ROC สำหรับการเลือกโมเดลและเกณฑ์
AUC คือวิธีที่มีประโยชน์สำหรับการเปรียบเทียบ ประสิทธิภาพของ 2 รูปแบบที่แตกต่างกัน ตราบใดที่ชุดข้อมูลมีความสมดุลกันอย่างคร่าวๆ (โปรดดูกราฟ Precision-Recall ด้านบนสำหรับชุดข้อมูลที่ไม่สมดุล) โมเดลที่มีพื้นที่ใหญ่กว่า โดยทั่วไปเส้นโค้งจะดีกว่า


จุดบนเส้นโค้ง ROC ที่ใกล้เคียงที่สุด (0,1) แสดงถึงช่วงของ เกณฑ์ที่มีประสิทธิภาพสูงสุด สำหรับโมเดลที่ระบุ ตามที่ได้กล่าวถึงใน เกณฑ์ เมทริกซ์ความสับสน และ ตัวเลือกเมตริกและข้อดีข้อเสีย เกณฑ์ที่คุณเลือกจะขึ้นอยู่กับว่าเมตริกใดสำคัญที่สุดกับ Use Case ที่เจาะจง พิจารณาข้อ ก ข และ ค ในข้อต่อไปนี้ แผนภาพ แผนภูมิแต่ละรายการแสดงเกณฑ์ ดังนี้

หากข้อสันนิษฐานที่ผิดพลาด (การแจ้งเตือนที่ผิดพลาด) มีค่าใช้จ่ายสูง อาจเป็นการสมควรที่จะ เลือกเกณฑ์ที่ให้ FPR ต่ำกว่า เช่น เกณฑ์ที่จุด A แม้ว่า TPR จะลดลง ในทางกลับกัน หากผลบวกลวงมีราคาถูกและผลลบลวง (พลาดผลบวกจริง) ต้นทุนสูง เกณฑ์สำหรับจุด C ซึ่ง เพิ่ม TPR ให้ได้สูงสุด อาจเหมาะสมกว่า หากต้นทุนเท่ากันโดยประมาณ ให้จุด B อาจเสนอสมดุลที่ดีที่สุดระหว่าง TPR และ FPR
นี่คือเส้นโค้ง ROC ของข้อมูลที่เราเคยเห็นมาก่อน
แบบฝึกหัด: ตรวจสอบความเข้าใจ








(ไม่บังคับ ขั้นสูง) คำถามพิเศษ
ลองนึกภาพสถานการณ์ที่คุณควรปล่อยให้สแปมเข้าถึง กล่องจดหมายที่น้อยกว่าการส่งอีเมลที่สำคัญกับธุรกิจไปยังโฟลเดอร์สแปม คุณได้ ได้ฝึกเครื่องมือแยกประเภทสแปมสำหรับสถานการณ์นี้ที่คลาสเชิงบวก สแปม และคลาสเชิงลบไม่ใช่สแปม ประเด็นใดต่อไปนี้ บนกราฟ ROC สำหรับตัวแยกประเภทของคุณได้ดีกว่า
