Salah satu metode yang dapat kita gunakan untuk mengevaluasi prediksi model terkait keadilan adalah dengan membandingkan tingkat penerimaan untuk kelompok mayoritas dan kelompok minoritas. Jika kedua tarif penerimaan tersebut sama, prediksi model akan menunjukkan paritas demografis: peluang mahasiswa untuk diterima di universitas tidak bervariasi berdasarkan kelompok demografis.
Misalkan model penerimaan menerima 16 kandidat dari mayoritas dan 4 kandidat dari kelompok minoritas. Keputusan model memenuhi paritas demografis, yakni tingkat penerimaan untuk mayoritas dan kandidat minoritas adalah 20%.
![Kumpulan kandidat, dibagi menjadi dua grup: Kandidat yang Ditolak (64 biru
mahasiswa, 16 siswa oranye) dan Kandidat yang Diterima (16 biru
siswa, 4 siswa oranye).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=8&hl=id)
Tabel berikut mengukur angka yang mendukung status yang ditolak dan disetujui kandidat pada Gambar 2.
Kelompok mayoritas | Kelompok minoritas | |
---|---|---|
Diterima | 16 | 4 |
Ditolak | 64 | 16 |
Rasio Penerimaan | 20% | 20% |
Latihan: Periksa intuisi Anda
Komite penerimaan universitas sedang mempertimbangkan penggunaan paritas demografis sebagai metrik evaluasi keadilan untuk modelnya, dan memerlukan panduan Anda manfaat dan kelemahan pendekatan ini. Dapatkah Anda mengidentifikasinya pro dan satu kontra dari mengevaluasi prediksi model menggunakan demografi paritas?
Lanjutkan membaca bagian berikutnya, Manfaat dan Kekurangan, sebagai ringkasan tentang kelebihan dan kekurangan penggunaan kesetaraan demografi.
Manfaat dan Kekurangan
Manfaat utama dari paritas demografis untuk contoh penerimaan kami adalah memastikan bahwa kelompok mayoritas dan minoritas terwakili di kelas siswa dengan proporsi yang sama seperti mereka dalam kelompok kandidat. Artinya, jika kumpulan pelamar terdiri dari 80% kandidat kelompok mayoritas dan 20% kandidat kelompok minoritas, paritas demografis menjamin bahwa kelompok tersebut siswa juga akan menjadi 80% siswa kelompok mayoritas dan 20% kelompok minoritas siswa.
Namun, paritas demografis memiliki satu kelemahan signifikan, yaitu distribusi prediksi untuk setiap kelompok demografis (jumlah siswa yang diklasifikasikan sebagai "memenuhi syarat" vs. "tidak memenuhi syarat") akan diperhitungkan saat mengevaluasi bagaimana 20 slot penerimaan harus dialokasikan.
Mari kita lihat kembali komposisi kumpulan kandidat dari informasi di atas. Namun, kali ini kita akan mengklasifikasikan kandidat tidak hanya berdasarkan kelompok demografis, tetapi juga berdasarkan apakah model telah menilai setiap kandidat sebagai "memenuhi syarat" atau "tidak memenuhi syarat":
![Pengelompokan yang sama untuk Kandidat yang Ditolak vs. yang Diterima seperti pada
gambar sebelumnya. Namun, kali ini 50 siswa yang sebenarnya
yang memenuhi syarat (35 siswa biru, 15 siswa oranye) diarsir dengan warna hijau,
dan sebagian siswa yang memenuhi syarat yang ditolak (19 siswa biru,
11 siswa oranye) ditandai dengan X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=8&hl=id)
Tabel berikut mengukur angka yang mendukung status yang ditolak dan disetujui kandidat pada Gambar 3.
Kelompok mayoritas | Kelompok minoritas | |||
---|---|---|---|---|
Diterima | Ditolak | Diterima | Ditolak | |
Memenuhi syarat | 16 | 19 | 4 | 11 |
Tidak memenuhi syarat | 0 | 45 | 0 | 5 |
Mari kita tabulasikan tingkat penerimaan siswa yang memenuhi syarat untuk kedua kelompok:
Meskipun kedua grup memiliki tingkat penerimaan keseluruhan 20%, memuaskan paritas demografis, tingkat penerimaan mahasiswa mayoritas yang memenuhi syarat adalah 46%, sedangkan tingkat penerimaan untuk siswa minoritas yang memenuhi syarat hanya 27%.
Dalam kasus seperti ini, di mana distribusi label pilihan (seperti "memenuhi syarat") sangat bervariasi untuk kedua grup, paritas demografis mungkin bukan metrik yang optimal untuk dipilih dalam mengevaluasi keadilan. Dalam kita akan melihat metrik keadilan alternatif, kesetaraan peluang, yang mempertimbangkan perbedaan ini.