เมื่อประเมินโมเดล เมตริกที่คํานวณเทียบกับการทดสอบหรือการตรวจสอบทั้งหมด ก็ไม่ได้ให้ภาพที่ถูกต้องเสมอไปว่าโมเดลนี้มีความยุติธรรมเพียงใด โมเดลมีประสิทธิภาพโดยรวมดีเยี่ยมสำหรับตัวอย่างส่วนใหญ่ที่อาจมาสก์ได้ไม่ดี ประสิทธิภาพในกลุ่มย่อยของตัวอย่าง ซึ่งอาจทำให้เกิดความลำเอียง การคาดการณ์โมเดล การใช้เมตริกประสิทธิภาพแบบรวม เช่น ความแม่นยำ การเรียกคืน และความแม่นยำ ไม่จำเป็น มาเปิดเผยปัญหาเหล่านี้
เราสามารถกลับไปดูรูปแบบการรับนักศึกษาและสำรวจเทคนิคใหม่ๆ สำหรับวิธีประเมินการคาดคะเนของอคติโดยคำนึงถึงความยุติธรรม
สมมติว่าโมเดลการจัดประเภทการรับนักศึกษาเลือกนักเรียน 20 คนเพื่อยอมรับ มหาวิทยาลัยจากกลุ่มผู้สมัคร 100 คน และจัดอยู่ในกลุ่มประชากร 2 กลุ่ม กลุ่มคนส่วนใหญ่ (สีฟ้า นักเรียน 80 คน) และชนกลุ่มน้อย (สีส้ม นักเรียน 20 คน)
โมเดลต้องยอมรับนักเรียนที่มีคุณสมบัติตามเกณฑ์ในลักษณะที่เป็นธรรม ผู้สมัครในกลุ่มประชากรทั้ง 2 กลุ่ม
เราควรประเมินการคาดการณ์ของโมเดลเพื่อความเป็นธรรมอย่างไร มีให้เลือกหลากหลาย ที่เราพิจารณาได้ ซึ่งแต่ละรายการจะให้ผลทางคณิตศาสตร์ ของคำว่า "ความยุติธรรม" ในส่วนต่อไปนี้ เราจะดู 3 ส่วน เมตริกความยุติธรรมเชิงลึกเหล่านี้ ได้แก่ ความเท่าเทียมกันของข้อมูลประชากร ความเท่าเทียมของโอกาส และความยุติธรรมในการโต้แย้ง