একটি মডেলের মূল্যায়ন করার সময়, একটি সম্পূর্ণ পরীক্ষা বা বৈধতা সেটের বিপরীতে গণনা করা মেট্রিক্স সবসময় মডেলটি কতটা ন্যায্য তার একটি সঠিক ছবি দেয় না। বেশিরভাগ উদাহরণের জন্য সামগ্রিকভাবে দুর্দান্ত মডেল পারফরম্যান্স একটি সংখ্যালঘু উপসেটের উদাহরণে দুর্বল কার্যকারিতাকে মুখোশ করতে পারে, যার ফলে মডেলের পক্ষপাতদুষ্ট ভবিষ্যদ্বাণী হতে পারে। যথার্থতা , স্মরণ এবং নির্ভুলতার মতো সামগ্রিক কর্মক্ষমতা মেট্রিক্স ব্যবহার করা অগত্যা এই সমস্যাগুলি প্রকাশ করতে যাচ্ছে না।
আমরা আমাদের ভর্তির মডেলটি আবার দেখতে পারি এবং ন্যায্যতার কথা মাথায় রেখে কীভাবে পক্ষপাতের জন্য এর ভবিষ্যদ্বাণীগুলি মূল্যায়ন করতে হয় তার জন্য কিছু নতুন কৌশল অন্বেষণ করতে পারি।
ধরুন, ভর্তির শ্রেণীবিভাগ মডেলটি 100 জন প্রার্থীর একটি পুল থেকে 20 জন শিক্ষার্থীকে বিশ্ববিদ্যালয়ে ভর্তির জন্য নির্বাচন করে, যা দুটি জনসংখ্যাগত গোষ্ঠীর অন্তর্গত: সংখ্যাগরিষ্ঠ দল (নীল, 80 জন শিক্ষার্থী) এবং সংখ্যালঘু দল (কমলা, 20 জন শিক্ষার্থী)।
মডেলটিকে অবশ্যই যোগ্য শিক্ষার্থীদের এমনভাবে ভর্তি করতে হবে যা উভয় জনসংখ্যার গোষ্ঠীর প্রার্থীদের জন্য ন্যায্য।
ন্যায্যতার জন্য মডেলের ভবিষ্যদ্বাণীগুলিকে কীভাবে মূল্যায়ন করা উচিত? আমরা বিবেচনা করতে পারি এমন বিভিন্ন মেট্রিক্স রয়েছে, যার প্রত্যেকটি "ন্যায্যতা" এর একটি ভিন্ন গাণিতিক সংজ্ঞা প্রদান করে। নিম্নলিখিত বিভাগগুলিতে, আমরা এই তিনটি ন্যায্যতা মেট্রিক্সকে গভীরভাবে অন্বেষণ করব: জনসংখ্যার সমতা, সুযোগের সমতা, এবং বিপরীত ন্যায্যতা।