عند تقييم نموذج، يتم حساب المقاييس من خلال اختبار كامل أو التحقق من الصحة صورة دقيقة دائمًا عن مدى إنصاف النموذج. إنّ الأداء الجيد للنموذج بشكل عام في معظم الأمثلة قد يحجب البيانات السيئة. الأداء على مجموعة فرعية قليلة من الأمثلة، مما قد يؤدي إلى تحيز تنبؤات النماذج. يمكن أن يؤدي استخدام مقاييس الأداء المجمعة مثل الدقة، تذكُّر البيانات، والدقة ليست بالضرورة لكشف هذه المشكلات.
يمكننا إعادة النظر في نموذج حالات الدخول واستكشاف بعض الأساليب الجديدة. لكيفية تقييم توقعاته من أجل التحيز، مع وضع الإنصاف في الاعتبار.
لنفترض أن نموذج تصنيف القبول اختار 20 طالبًا لقبولهم في جامعة من مجموعة من 100 مرشح، ينتمون إلى مجموعتين ديموغرافيتين: مجموعة الأغلبية (الأزرق، 80 طالبًا) ومجموعة الأقلية (البرتقالي، 20 طالبًا).
يجب أن يقبل النموذج الطلاب المؤهلين بطريقة عادلة المرشحين في كلتا المجموعتين الديموغرافية.
كيف ينبغي لنا تقييم تنبؤات النموذج لتحقيق الإنصاف؟ هناك مجموعة متنوعة التي يمكننا وضعها في الاعتبار، ويقدم كلٌ منها قيمة حسابية تعريف "الإنصاف". في الأقسام التالية، سنستكشف ثلاثة من مقاييس الإنصاف هذه بشكل متعمق: التكافؤ الديموغرافي وتكافؤ الفرص والإنصاف المغاير.