Cho đến nay, các cuộc thảo luận về chỉ số sự công bằng giả định rằng chương trình đào tạo của chúng tôi và các ví dụ thử nghiệm có chứa dữ liệu nhân khẩu học toàn diện về thông tin nhân khẩu học đó các nhóm con đang được đánh giá. Nhưng thường thì không phải vậy.
Giả sử tập dữ liệu về tuyển sinh của chúng tôi không có dữ liệu nhân khẩu học đầy đủ. Thay vào đó, tư cách thành viên trong nhóm nhân khẩu học chỉ được ghi lại cho một tỷ lệ nhỏ ví dụ, chẳng hạn như học sinh chọn tự xác định nhóm mà mình thuộc về. Trong trường hợp này, việc phân tích nhóm ứng viên thành được chấp nhận và những học viên bị từ chối giờ đây sẽ có dạng như sau:
Ở đây, không thể đánh giá dự đoán của mô hình cho một trong hai đối tượng nhân khẩu học sự cân bằng hoặc sự bình đẳng về cơ hội, bởi vì chúng tôi không có dữ liệu nhân khẩu học 94% trong số các ví dụ của chúng tôi. Tuy nhiên, đối với 6% các ví dụ có chứa các tính năng nhân khẩu học, chúng tôi vẫn có thể so sánh các cặp dự đoán riêng lẻ (một ứng cử viên đa số so với một ứng cử viên thiểu số) và xem liệu họ có được được mô hình này xử lý công bằng.
Ví dụ: giả sử chúng tôi đã xem xét kỹ lưỡng dữ liệu của tính năng có sẵn cho 2 ứng cử viên (một trong nhóm đa số và một thuộc nhóm thiểu số được chú thích bằng một ngôi sao trong hình bên dưới) và xác định rằng chúng đều đủ điều kiện nhập học như nhau về mọi khía cạnh. Nếu mô hình đó tạo cùng một dự đoán cho cả hai ứng cử viên này (nghĩa là từ chối cả hai ứng cử viên hoặc chấp nhận cả hai đề xuất), tức là đáp ứng thông tin phản thực tế công bằng cho các ví dụ này. Tính công bằng phản thực tế quy định rằng hai các ví dụ giống hệt nhau về mọi khía cạnh, ngoại trừ một thuộc tính nhạy cảm nhất định (ở đây là tư cách thành viên của nhóm nhân khẩu học), sẽ dẫn đến cùng một mô hình truy vấn dự đoán.
Lợi ích và hạn chế
Như đã đề cập trước đó, một lợi ích chính của tính công bằng phản thực tế là có thể được sử dụng để đánh giá các dự đoán về tính công bằng trong nhiều trường hợp khi sử dụng các chỉ số khác không khả thi. Nếu một tập dữ liệu không chứa toàn bộ cho các thuộc tính nhóm có liên quan đang được xem xét, thì giá trị này sẽ không dựa trên sự bình đẳng về nhân khẩu học hoặc sự công bằng cơ hội. Tuy nhiên, nếu các thuộc tính nhóm này có sẵn cho một tập hợp con và có thể xác định các cặp tương đương ví dụ trong các nhóm khác nhau, người hành nghề có thể sử dụng tính công bằng phản thực tế làm chỉ số để thăm dò mô hình về các sai lệch tiềm ẩn trong các dự đoán.
Ngoài ra, vì các chỉ số như sự ngang bằng về nhân khẩu học và sự bình đẳng của các nhóm đánh giá cơ hội, chúng có thể che giấu các vấn đề thiên vị ảnh hưởng đến mô hình này ở cấp độ dự đoán riêng lẻ, có thể được hiển thị bằng dựa trên sự công bằng phản thực tế. Ví dụ: giả sử chúng ta nhập học mô hình chấp nhận các ứng cử viên đủ điều kiện từ nhóm đa số và nhóm thiểu số có tỷ lệ tương tự, nhưng ứng cử viên thiểu số đủ tiêu chuẩn nhất là bị từ chối trong khi ứng cử viên đa số đủ điều kiện nhất có cùng phiếu bầu thông tin xác thực được chấp nhận. Bản phân tích tính công bằng phản thực tế có thể giúp xác định các loại khác biệt này để có thể giải quyết.
Mặt khác, nhược điểm chính của tính công bằng phản thực là không mang đến cái nhìn toàn diện về độ lệch trong dự đoán mô hình. Nhận dạng và việc giải quyết một số vấn đề không công bằng trong các cặp ví dụ có thể là chưa đủ để giải quyết các vấn đề thiên kiến mang tính hệ thống ảnh hưởng đến toàn bộ các nhóm nhỏ ví dụ.
Trong những trường hợp có thể, chuyên viên quảng cáo có thể cân nhắc thực hiện cả hai hoạt động tổng hợp phân tích tính công bằng (sử dụng chỉ số như sự ngang bằng nhân khẩu học hoặc bình đẳng về cơ hội) cũng như phân tích tính công bằng phản thực tế để có được thông tin một loạt thông tin chi tiết về các vấn đề sai lệch tiềm ẩn cần khắc phục.
Bài tập: Kiểm tra kiến thức
Trong tập hợp các dự đoán ở Hình 7 ở trên, thông tin nào các cặp giống hệt nhau sau đây (ngoại trừ tư cách thành viên nhóm) các ví dụ nhận được cụm từ gợi ý vi phạm về tính công bằng phản thực tế?
Tóm tắt
Sự tương đồng về nhân khẩu học, cơ hội bình đẳng, và tính công bằng phản thực tế, mỗi thuật ngữ đều đưa ra các định nghĩa toán học khác nhau về tính công bằng cho các dự đoán của mô hình. Đó chỉ là 3 khả năng giúp đo lường sự công bằng. Một số định nghĩa về sự công bằng thậm chí đa dạng không tương thích, nghĩa là có thể bạn không thể đáp ứng họ cùng một lúc trong một dự đoán của mô hình đã cho.
Vậy làm cách nào để chọn "phù hợp" chỉ số công bằng cho mô hình của mình là gì? Bạn cần hãy xem xét bối cảnh sử dụng công cụ đó và các mục tiêu tổng thể mà bạn muốn hoàn thành. Ví dụ: là mục tiêu để đạt được đại diện bằng nhau (trong trường hợp này, sự tương đồng về nhân khẩu học có thể là chỉ số tối ưu) hoặc đạt được cơ hội bình đẳng (ở đây, cơ hội bình đẳng có thể là tốt nhất chỉ số)?
Để tìm hiểu thêm về Công bằng học máy và phân tích chuyên sâu hơn về những vấn đề này, hãy xem Bài viết Sự công bằng và công nghệ học máy: Hạn chế và cơ hội của Solon Barocas, Moritz Hardt và Arvind Narayanan.