Di bagian sebelumnya, kita mengevaluasi keadilan model penerimaan menggunakan paritas demografis, dengan membandingkan tingkat penerimaan kelompok demografis.
Atau, kita dapat membandingkan tingkat penerimaan hanya untuk kandidat dalam kelompok mayoritas dan kelompok minoritas. Jika tingkat penerimaan untuk siswa yang memenuhi syarat di kedua kelompok adalah sama, model ini menunjukkan kesetaraan peluang: siswa dengan label pilihan kami ("memenuhi syarat untuk masuk") memiliki terlepas dari kelompok demografis mereka tempat mesin terhubung.
Mari kita tinjau kembali kumpulan kandidat kita dari bagian sebelumnya:
| Kelompok mayoritas | Kelompok minoritas | |
|---|---|---|
| Memenuhi syarat | 35 | 15 |
| Tidak memenuhi syarat | 45 | 5 |
Misalkan model penerimaan menerima 14 kandidat dari kelompok mayoritas dan 6 kandidat dari kelompok minoritas. Keputusan model memenuhi kesempatan yang setara, sebagai tingkat penerimaan untuk kedua mayoritas yang memenuhi syarat dan kandidat minoritas yang memenuhi syarat adalah 40%.
Tabel berikut mengukur angka yang mendukung status yang ditolak dan disetujui kandidat pada Gambar 4.
| Kelompok mayoritas | Kelompok minoritas | |||
|---|---|---|---|---|
| Diterima | Ditolak | Diterima | Ditolak | |
| Memenuhi syarat | 14 | 21 | 6 | 9 |
| Tidak memenuhi syarat | 0 | 45 | 0 | 5 |
Manfaat dan Kekurangan
Manfaat utama dari peluang kesetaraan adalah bahwa hal ini memungkinkan rasio prediksi positif ke negatif untuk bervariasi di seluruh kelompok demografis, asalkan model tersebut sama-sama berhasil memprediksi label pilihan ("memenuhi syarat untuk masuk") untuk kedua grup.
Prediksi model di Gambar 4 tidak memenuhi paritas demografis, sebagai siswa dalam kelompok mayoritas memiliki peluang 17,5% untuk diterima, dan siswa dalam kelompok minoritas memiliki peluang 30% untuk diterima. Namun, siswa yang memenuhi syarat memiliki peluang 40% untuk diterima, terlepas dari kelompok mereka, yang dapat dikatakan sebagai hasil yang lebih adil dalam hal ini kasus penggunaan model tertentu.
Salah satu kelemahan dari kesetaraan peluang adalah peluang ini dirancang untuk digunakan kasus di mana ada label pilihan yang jelas. Jika sama pentingnya bahwa model memprediksi kelas positif ("memenuhi syarat untuk masuk") dan kelas negatif ("tidak memenuhi syarat untuk diterima") untuk semua kelompok demografis, mungkin lebih masuk akal untuk menggunakan metrik peluang yang disamakan, yang menerapkan tingkat keberhasilan yang sama untuk kedua label.
Kelemahan lain dari kesempatan yang sama adalah
mengenai perlakuan yang adil
dengan membandingkan tingkat kesalahan secara gabungan
untuk kelompok demografis, yang mungkin
tidak selalu dapat dilakukan. Misalnya, jika set data model pendaftaran kita
tidak memiliki fitur demographic_group, maka tidak mungkin
memerinci tingkat penerimaan kandidat mayoritas dan minoritas yang memenuhi syarat
dan bandingkan untuk melihat apakah kesetaraan kesempatan dapat terpenuhi.
Di bagian berikutnya, kita akan melihat metrik keadilan lainnya, kontrafaktual perlakuan yang adil, yang dapat diterapkan dalam skenario di mana data demografis tidak tersedia untuk semua contoh.
Latihan: Memeriksa pemahaman Anda
Prediksi model dapat saja memenuhi kondisi demografis paritas dan kesetaraan peluang.
Sebagai contoh, katakanlah pengklasifikasi biner (yang labelnya lebih disukai adalah kelas positif) dievaluasi pada 100 contoh, dengan hasil ditunjukkan dalam matriks konflik berikut, yang dibagi oleh kelompok demografis (mayoritas dan minoritas):
| Kelompok mayoritas | Kelompok minoritas | |||
|---|---|---|---|---|
| Prediksi positif | Prediksi negatif | Prediksi positif | Prediksi negatif | |
| Positif aktual | 6 | 12 | 3 | 6 |
| Negatif aktual | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Kelompok mayoritas dan minoritas memiliki tingkat prediksi positif 25%, paritas demografis yang memuaskan, dan rasio positif sejati (persentase contoh dengan label pilihan yang diklasifikasikan dengan benar) sebesar 33%, yang memenuhi kesetaraan peluang.