Khi đánh giá một mô hình, các chỉ số được tính toán dựa trên toàn bộ một thử nghiệm hoặc quy trình xác thực không phải lúc nào cũng đưa ra hình ảnh chính xác về mức độ công bằng của mô hình. Hiệu suất tổng thể của mô hình tuyệt vời đối với phần lớn các ví dụ có thể ẩn giấu yếu tố kém hiệu suất dựa trên một số ít ví dụ, dẫn đến kết quả các dự đoán về mô hình. Sử dụng các chỉ số hiệu suất tổng hợp như độ chính xác, ghi nhớ, và độ chính xác là không nhất thiết để hiển thị những vấn đề này.
Chúng ta có thể xem lại mô hình tuyển sinh và khám phá một số kỹ thuật mới về cách đánh giá các dự đoán của họ về sự thiên vị và sự công bằng.
Giả sử mô hình phân loại tuyển sinh chọn 20 học sinh để nhận vào học trường đại học từ một nhóm gồm 100 ứng viên, thuộc 2 nhóm nhân khẩu học: nhóm đa số (màu xanh dương, 80 học sinh) và nhóm thiểu số (màu cam, 20 học sinh).
Mô hình phải tiếp nhận học viên đủ điều kiện theo cách công bằng cho ứng cử viên ở cả hai nhóm nhân khẩu học.
Chúng tôi nên đánh giá các dự đoán của mô hình này như thế nào về tính công bằng? Có nhiều loại chúng tôi có thể xem xét, mỗi chỉ số cung cấp một định nghĩa về "sự công bằng". Trong các phần sau, chúng ta sẽ khám phá 3 các chỉ số chuyên sâu này về sự công bằng: sự bình đẳng về nhân khẩu học, sự bình đẳng về cơ hội, và tính công bằng phản thực tế.