Một phương pháp mà chúng tôi có thể sử dụng để đánh giá các dự đoán của mô hình về tính công bằng là so sánh tỷ lệ nhập học của nhóm đa số và nhóm thiểu số. Nếu hai tỷ lệ nhập học bằng nhau, thì thông tin dự đoán của mô hình sẽ cho thấy điểm tương đồng về thông tin nhân khẩu học: a cơ hội được nhận vào trường đại học của sinh viên không thay đổi theo nhóm nhân khẩu học.
Giả sử mô hình tuyển sinh chấp nhận 16 ứng viên trong số đó và 4 ứng cử viên thuộc nhóm thiểu số. Các quyết định của mô hình đáp ứng sự tương đồng về nhân khẩu học, vì tỷ lệ chấp nhận của cả đa số và ứng cử viên là người thiểu số là 20%.
![Nhóm ứng viên, được chia thành hai nhóm: Ứng viên bị từ chối (64 màu xanh dương
học sinh, 16 học sinh màu cam) và Ứng viên được chấp nhận (16 màu xanh dương
học sinh, 4 học sinh màu cam).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=4&hl=vi)
Bảng sau đây định lượng các con số hỗ trợ quảng cáo bị từ chối và được chấp nhận các ứng viên trong Hình 2.
Nhóm đa số | Nhóm thiểu số | |
---|---|---|
Đã chấp nhận | 16 | 4 |
Bị từ chối | 64 | 16 |
Tỷ lệ chấp nhận | 20% | 20% |
Bài tập: Kiểm tra trực giác của bạn
Uỷ ban tuyển sinh của các trường đại học đang xem xét sử dụng phương pháp cân bằng nhân khẩu học là chỉ số đánh giá tính công bằng cho mô hình của họ và cần bạn hướng dẫn ưu và nhược điểm của phương pháp này. Bạn có thể xác định được một lợi ích và một nhược điểm trong việc đánh giá các dự đoán của mô hình bằng thông tin nhân khẩu học ngang bằng nhau?
Tiếp tục đọc phần tiếp theo, Lợi ích và Nhược điểm, để tóm tắt các ưu và nhược điểm chính của việc sử dụng nhân khẩu học tương đồng.
Lợi ích và hạn chế
Lợi ích chính của sự bình đẳng về nhân khẩu học trong ví dụ về tuyển sinh của chúng tôi là để đảm bảo rằng cả nhóm đa số và nhóm thiểu số đều có đại diện trong nhóm được chấp nhận lớp học viên có cùng tỷ lệ với nhóm ứng viên. Tức là nếu nhóm ứng viên bao gồm 80% ứng cử viên trong nhóm ứng viên chiếm đa số và 20% ứng cử viên thuộc nhóm thiểu số, bình đẳng nhân khẩu học đảm bảo rằng nhóm này số học sinh nhập học cũng sẽ là 80% học sinh thuộc nhóm đa số và 20% là nhóm thiểu số sinh viên.
Tuy nhiên, sự bình đẳng về nhân khẩu học có một nhược điểm đáng kể: không phải phân phối dự đoán cho từng nhóm nhân khẩu học (số lượng sinh viên được phân loại là "đủ tiêu chuẩn" so với "không đủ điều kiện") khi đánh giá cách phân bổ 20 suất vào học.
Hãy cùng xem lại thành phần của nhóm ứng cử viên ở trên. Tuy nhiên, lần này chúng tôi sẽ phân loại ứng viên không chỉ theo nhóm nhân khẩu học, mà còn phụ thuộc vào việc mô hình đó có cho điểm từng ứng cử viên là "đủ tiêu chuẩn" hay không hoặc "không đủ điều kiện":
![Cùng phân tích chi tiết về Các ứng viên bị Từ chối so với Ứng viên được chấp nhận như trong
hình ảnh trước, nhưng lần này là 50 học sinh thực sự
đủ tiêu chuẩn (35 học sinh màu xanh dương, 15 học sinh màu cam) được tô màu xanh lục,
và một nhóm nhỏ học sinh đủ điều kiện bị từ chối (19 học sinh màu xanh dương,
11 học sinh màu cam) được đánh dấu X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=4&hl=vi)
Bảng sau đây định lượng các con số hỗ trợ quảng cáo bị từ chối và được chấp nhận các đề xuất trong Hình 3.
Nhóm đa số | Nhóm thiểu số | |||
---|---|---|---|---|
Đã chấp nhận | Bị từ chối | Đã chấp nhận | Bị từ chối | |
Đủ điều kiện | 16 | 19 | 4 | 11 |
Không đủ điều kiện | 0 | 45 | 0 | 5 |
Hãy lập bảng tỷ lệ chấp nhận học sinh đủ điều kiện của cả hai nhóm:
Mặc dù cả hai nhóm đều có tỷ lệ chấp nhận tổng thể là 20%, nhưng điều này đáp ứng nhân khẩu học tương đương, tỷ lệ chấp nhận học sinh đủ điều kiện đa số là 46%, trong khi tỷ lệ chấp nhận học sinh đủ điều kiện là người thiểu số chỉ là 27%.
Trong các trường hợp như thế này, khi phân phối một nhãn ưa thích (chẳng hạn như "đủ tiêu chuẩn") thay đổi đáng kể cho cả hai nhóm, sự tương đồng về nhân khẩu học có thể không phải là chỉ số tối ưu để chọn để đánh giá tính công bằng. Trong thời gian tới chúng ta sẽ xem xét chỉ số công bằng thay thế, bình đẳng về cơ hội, và Google sẽ xem xét những khác biệt này.