ความแม่นยำ
ความแม่นยําพยายามตอบคําถามต่อไปนี้
สัดส่วนที่แท้จริงของการระบุเชิงบวกคืออะไร
ความแม่นยํามีคําจํากัดความดังต่อไปนี้
มาคํานวณความแม่นยําสําหรับโมเดล ML จากส่วนก่อนหน้านี้ที่วิเคราะห์เนื้องอกกัน
ผลบวกจริง (TP): 1 | False Positives (FPS): 1 |
คีย์เวิร์ดเชิงลบปลอม (FN): 8 | ผลลบจริง (TN): 90 |
โมเดลของเรามีความแม่นยํา 0.5 กล่าวคือเมื่อคาดการณ์ว่าเนื้องอกจะผิดหวัง จะได้ที่ถูกต้อง 50% ของเวลาทั้งหมด
การจดจำ
การเรียกคืนจะพยายามตอบคําถามต่อไปนี้
ระบุจํานวนบวกที่แท้จริงได้ถูกต้องแค่ไหน
ในทางคณิตศาสตร์ การเรียกคืนหมายถึงดังนี้
มาคํานวณการเรียกคืนตัวแยกประเภทเนื้องอกของเรากัน
ผลบวกจริง (TP): 1 | False Positives (FPS): 1 |
คีย์เวิร์ดเชิงลบปลอม (FN): 8 | ผลลบจริง (TN): 90 |
โมเดลของเรามีความอ่อนไหว 0.11 หรืออีกนัยหนึ่งคือ ค่านี้ระบุ 11% ของเนื้องอกที่เป็นอันตรายทั้งหมดอย่างถูกต้อง
ความแม่นยําและความอ่อนไหว: สงครามลากจูง
หากต้องการประเมินประสิทธิภาพของโมเดลอย่างเต็มรูปแบบ คุณต้องตรวจสอบทั้งความแม่นยําและการเรียกคืน แต่ขออภัยที่ต้องแจ้งให้ทราบว่าความแม่นยําและ ความจําเพียงพอ กล่าวคือ การปรับปรุงความแม่นยํามักช่วยลดการเรียกคืนและในทางกลับกันด้วย สํารวจแนวคิดนี้โดยดูที่ตัวเลขต่อไปนี้ ซึ่งจะแสดงการคาดคะเน 30 ข้อที่สร้างโดยโมเดลการจัดประเภทอีเมล รายการที่อยู่ทางด้านขวาของเกณฑ์การจัดประเภทจะได้รับการจัดประเภทเป็น "สแปม" ส่วนทางด้านซ้ายจะจัดประเภทเป็น "ไม่ใช่จดหมายขยะ"
รูปที่ 1 การจัดประเภทข้อความอีเมลว่าเป็นจดหมายขยะหรือไม่ใช่จดหมายขยะ
มาคํานวณความแม่นยําและความอ่อนไหวโดยพิจารณาจากผลลัพธ์ที่แสดงในรูปที่ 1
ผลบวกจริง (TP): 8 | False Positives (FP): 2 |
คีย์เวิร์ดเชิงลบปลอม (FN): 3 | ผลลบจริง (TN): 17 |
ความแม่นยําจะวัดเปอร์เซ็นต์ของอีเมลที่แจ้งว่าเป็นสแปมซึ่งได้รับการจัดประเภทอย่างถูกต้อง กล่าวคือ เปอร์เซ็นต์ของจุดทางด้านขวาของเส้นเกณฑ์ที่เป็นสีเขียวในรูปที่ 1
การจําได้จะวัดเปอร์เซ็นต์ของอีเมลสแปมจริงที่ได้รับการจัดประเภทอย่างถูกต้อง ซึ่งก็คือเปอร์เซ็นต์ของจุดสีเขียวที่อยู่ด้านขวาของเส้นเกณฑ์ในรูปที่ 1
รูปที่ 2 แสดงภาพผลกระทบของการเพิ่มเกณฑ์การจัดประเภท
รูปที่ 2 การเพิ่มเกณฑ์การแยกประเภท
จํานวนผลบวกลวงจะลดลง แต่ผลลบลวงเพิ่มขึ้น ผลที่ได้คือ ความแม่นยําจะเพิ่มขึ้น ขณะที่การเรียกคืนจะลดลง
ผลบวกจริง (TP): 7 | False Positives (FP): 1 |
คีย์เวิร์ดเชิงลบปลอม (FN): 4 | คีย์เวิร์ดเชิงลบจริง (TN): 18 |
ในทางกลับกัน รูปที่ 3 แสดงภาพผลกระทบของการลดเกณฑ์การแยกประเภท (จากตําแหน่งเดิมในรูปที่ 1)
รูปที่ 3 การลดเกณฑ์การแยกประเภท
การตรวจพบที่ผิดพลาดที่เพิ่มขึ้นและผลลบลวงจะลดลง ดังนั้น ในครั้งนี้ ความแม่นยําจะลดลงและการจดจําจะเพิ่มขึ้น ดังนี้
ผลบวกจริง (TP): 9 | False Positives (FP): 3 |
คีย์เวิร์ดเชิงลบปลอม (FN): 2 | ผลลบจริง (TN): 16 |
เมตริกต่างๆ ได้รับการพัฒนาขึ้นโดยอิงจากความแม่นยําและการจดจํา ตัวอย่างเช่น โปรดดูคะแนน F1