Trong phần trước, chúng ta đã đánh giá mô hình tuyển sinh về tính công bằng bằng cách sử dụng nhân khẩu học tương đương bằng cách so sánh tỷ lệ chấp nhận tổng thể của cả các nhóm nhân khẩu học khác nhau.
Ngoài ra, chúng ta có thể so sánh tỷ lệ chấp nhận của chỉ ứng cử viên trong nhóm đa số và nhóm thiểu số. Nếu tỷ lệ chấp nhận đối với số sinh viên đủ điều kiện trong cả hai nhóm là như nhau, mô hình thể hiện bình đẳng về cơ hội: sinh viên có nhãn ưu tiên ("đủ điều kiện nhập học") sẽ có điểm số cơ hội được chấp nhận, bất kể họ thuộc nhóm nhân khẩu học nào sang.
Hãy cùng xem lại nhóm ứng viên trong phần trước:
| Nhóm đa số | Nhóm thiểu số | |
|---|---|---|
| Đủ điều kiện | 35 | 15 |
| Không đủ điều kiện | 45 | 5 |
Giả sử mô hình tuyển sinh chấp nhận 14 ứng viên thuộc nhóm đa số và 6 ứng cử viên thuộc nhóm thiểu số. Các quyết định của mô hình đáp ứng mức độ bình đẳng về cơ hội, vì tỷ lệ chấp nhận cho cả hai đủ điều kiện là đa số và ứng cử viên thiểu số đủ điều kiện là 40%.
Bảng sau đây định lượng các con số hỗ trợ quảng cáo bị từ chối và được chấp nhận các ứng viên trong Hình 4.
| Nhóm đa số | Nhóm thiểu số | |||
|---|---|---|---|---|
| Đã chấp nhận | Bị từ chối | Đã chấp nhận | Bị từ chối | |
| Đủ điều kiện | 14 | 21 | 6 | 9 |
| Không đủ điều kiện | 0 | 45 | 0 | 5 |
Lợi ích và hạn chế
Lợi ích chính của mức độ bình đẳng về cơ hội là nó cho phép tỷ lệ dự đoán tích cực và tiêu cực để thay đổi giữa các nhóm nhân khẩu học, miễn là mô hình đó cũng thành công như nhau trong việc dự đoán nhãn ưu tiên ("đủ điều kiện nhập học") cho cả hai nhóm.
Các dự đoán của mô hình trong Hình 4 không đáp ứng sự tương đồng về nhân khẩu học, là học sinh trong nhóm đa số thì có 17,5% cơ hội được chấp nhận, và thì một học sinh thuộc nhóm thiểu số sẽ có 30% cơ hội được chấp nhận. Tuy nhiên, một sinh viên đủ điều kiện có 40% cơ hội được chấp nhận, bất kể nhóm của họ, đây có thể là kết quả công bằng hơn trong trường hợp sử dụng mô hình cụ thể.
Một nhược điểm của cơ hội bình đẳng là cơ hội được thiết kế để sử dụng trong những trường hợp có nhãn ưu tiên rõ ràng. Nếu các yếu tố đó đều quan trọng mô hình này dự đoán cả lớp khẳng định ("đủ điều kiện nhập học") và lớp phủ định ("không đủ điều kiện để được nhập học") cho tất cả các nhóm nhân khẩu học, thì bạn nên dùng chỉ số tỷ lệ cược bằng để thực thi tỷ lệ thành công như nhau cho cả hai nhãn.
Một nhược điểm khác của cơ hội bình đẳng là nó đánh giá tính công bằng
bằng cách so sánh tỷ lệ lỗi tổng hợp cho các nhóm nhân khẩu học, điều này có thể
không phải lúc nào cũng khả thi. Ví dụ: nếu tập dữ liệu của mô hình tuyển sinh
Nếu không có tính năng demographic_group, thì bạn không thể
tách riêng tỷ lệ chấp nhận đối với các ứng cử viên đa số và thiểu số đủ điều kiện
và so sánh chúng để xem liệu có thoả mãn cơ hội bằng nhau hay không.
Trong phần tiếp theo, chúng ta sẽ xem xét một chỉ số khác về tính công bằng, đó là phản thực tế về sự công bằng, có thể được áp dụng trong các trường hợp mà dữ liệu nhân khẩu học không có sẵn cho tất cả các ví dụ.
Bài tập: Kiểm tra kiến thức
Các dự đoán của mô hình có thể đáp ứng cả hai yếu tố nhân khẩu học sự cân bằng và bình đẳng về cơ hội.
Ví dụ: giả sử một thuật toán phân loại nhị phân (có nhãn ưu tiên là lớp dương) được đánh giá dựa trên 100 ví dụ, với kết quả được trình bày trong các ma trận nhầm lẫn sau đây, được chia theo nhóm nhân khẩu học (đa số và thiểu số):
| Nhóm đa số | Nhóm thiểu số | |||
|---|---|---|---|---|
| Dự đoán dương | Dự đoán âm | Dự đoán dương | Dự đoán âm | |
| Kết quả tích cực thực tế | 6 | 12 | 3 | 6 |
| Tiêu cực thực tế | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Cả nhóm đa số và nhóm thiểu số đều có tỷ lệ dự đoán tích cực 25%, đáp ứng sự tương đồng về nhân khẩu học và tỷ lệ dương thực sự (tỷ lệ phần trăm ví dụ có nhãn được ưu tiên phân loại chính xác) là 33%, đáp ứng sự bình đẳng về cơ hội.