Keadilan: Keseimbangan demografi

Salah satu metode yang dapat kita gunakan untuk mengevaluasi prediksi model terkait keadilan adalah dengan membandingkan tingkat penerimaan untuk kelompok mayoritas dan kelompok minoritas. Jika kedua tarif penerimaan tersebut sama, prediksi model akan menunjukkan paritas demografis: peluang mahasiswa untuk diterima di universitas tidak bervariasi berdasarkan kelompok demografis.

Misalkan model penerimaan menerima 16 kandidat dari mayoritas dan 4 kandidat dari kelompok minoritas. Keputusan model memenuhi paritas demografis, yakni tingkat penerimaan untuk mayoritas dan kandidat minoritas adalah 20%.

Gambar 2. Kumpulan kandidat dibagi menjadi dua grup: Kandidat yang Ditolak dan Kandidat yang Diterima. Mayoritas (biru) dan minoritas (oranye) kelompok memiliki tingkat penerimaan 20%.

Tabel berikut mengukur angka yang mendukung status yang ditolak dan disetujui kandidat pada Gambar 2.

	Kelompok mayoritas	Kelompok minoritas
Diterima	16	4
Ditolak	64	16
Rasio Penerimaan	20%	20%

Latihan: Periksa intuisi Anda

Komite penerimaan universitas sedang mempertimbangkan penggunaan paritas demografis sebagai metrik evaluasi keadilan untuk modelnya, dan memerlukan panduan Anda manfaat dan kelemahan pendekatan ini. Dapatkah Anda mengidentifikasinya pro dan satu kontra dari mengevaluasi prediksi model menggunakan demografi paritas?

Dapatkah Anda mengidentifikasi masalah pada data fitur?

Klik di sini untuk melihat jawaban kami

Manfaat dan Kekurangan

Manfaat utama dari paritas demografis untuk contoh penerimaan kami adalah memastikan bahwa kelompok mayoritas dan minoritas terwakili di kelas siswa dengan proporsi yang sama seperti mereka dalam kelompok kandidat. Artinya, jika kumpulan pelamar terdiri dari 80% kandidat kelompok mayoritas dan 20% kandidat kelompok minoritas, paritas demografis menjamin bahwa kelompok tersebut siswa juga akan menjadi 80% siswa kelompok mayoritas dan 20% kelompok minoritas siswa.

Namun, paritas demografis memiliki satu kelemahan signifikan, yaitu distribusi prediksi untuk setiap kelompok demografis (jumlah siswa yang diklasifikasikan sebagai "memenuhi syarat" vs. "tidak memenuhi syarat") akan diperhitungkan saat mengevaluasi bagaimana 20 slot penerimaan harus dialokasikan.

Mari kita lihat kembali komposisi kumpulan kandidat dari informasi di atas. Namun, kali ini kita akan mengklasifikasikan kandidat tidak hanya berdasarkan kelompok demografis, tetapi juga berdasarkan apakah model telah menilai setiap kandidat sebagai "memenuhi syarat" atau "tidak memenuhi syarat":

Gambar 3. Pengelompokan yang sama untuk kandidat yang Ditolak dan Diterima seperti di Gambar 2. Namun, kali ini semua siswa yang memenuhi syarat dan kelompok minoritas diarsir dengan warna hijau, dan siswa yang memenuhi syarat yang ditolak ditandai dengan X. Dari 35 kelompok mayoritas yang memenuhi syarat siswa, terdapat 16 orang. Dari 15 siswa kelompok minoritas yang memenuhi syarat, 4 diterima.

Tabel berikut mengukur angka yang mendukung status yang ditolak dan disetujui kandidat pada Gambar 3.

	Kelompok mayoritas		Kelompok minoritas
	Diterima	Ditolak	Diterima	Ditolak
Memenuhi syarat	16	19	4	11
Tidak memenuhi syarat	0	45	0	5

Mari kita tabulasikan tingkat penerimaan siswa yang memenuhi syarat untuk kedua kelompok:

$$\text{Majority acceptance rate} = \frac{\text{qualified majority students accepted}}{\text{total qualified majority students}} = \frac{16}{35} = \text{46%}$$

$$\text{Minority acceptance rate} = \frac{\text{qualified minority students accepted}}{\text{total qualified minority students}} = \frac{4}{15} = \text{27%}$$

Meskipun kedua grup memiliki tingkat penerimaan keseluruhan 20%, memuaskan paritas demografis, tingkat penerimaan mahasiswa mayoritas yang memenuhi syarat adalah 46%, sedangkan tingkat penerimaan untuk siswa minoritas yang memenuhi syarat hanya 27%.

Dalam kasus seperti ini, di mana distribusi label pilihan (seperti "memenuhi syarat") sangat bervariasi untuk kedua grup, paritas demografis mungkin bukan metrik yang optimal untuk dipilih dalam mengevaluasi keadilan. Dalam kita akan melihat metrik keadilan alternatif, kesetaraan peluang, yang mempertimbangkan perbedaan ini.

Catatan: Mungkin ada manfaat/kelemahan tambahan dari paritas demografis yang tidak yang juga layak dipertimbangkan, tergantung pada kedua tujuan untuk dicapai dan konteks sosial tempat prediksi akan digunakan.

Istilah utama:

• Bias (etika/keadilan)
• Keseimbangan demografi