Adalet: Fırsat eşitliği

Bir önceki bölümde kabul modelimizi adalet açısından değerlendirdik: genel kabul oranlarını karşılaştırarak her iki demografik gruplar.

Alternatif olarak yalnızca nitelikli tedarikçi firmaların kabul oranlarını çoğunluk grubundaki ve azınlık grubundaki adaylar. Kabul oranları her iki gruptaki uygun öğrenciler arasında eşittir; fırsat eşitliği: tercih ettiğimiz etiketi ("giriş için uygun") olan öğrenciler eşit ait oldukları demografik gruba bakılmaksızın, kabul edilme şansı .

Önceki bölümden hareketle aday havuzumuzu yeniden gözden geçirelim:

	Çoğunluk grubu	Azınlık grubu
Uygun	35	15
Uygun Değil	45	5

Kabul modelinin çoğunluk grubundan 14 aday kabul ettiğini varsayalım ve azınlık grubundan 6 aday. Modelin kararlarını kabul oranı olarak ve fırsat eşitliği, uygun azınlık adaylarının oranı %40'tır.

Şekil 4. Reddedilen ve Kabul Edilen adayların dökümü ile birlikte gölgelikli azınlık ve çoğunluk gruplarındaki nitelikli öğrenciler olduğunu görebilirsiniz. Çoğunluk için uygun olan 35 öğrenciden 14'ü kabul edilir. Uygun nitelikleri taşıyan 15 azınlık grubu öğrencisinden 6'sı kabul edilir. Dolayısıyla her iki grup da satın alma işlemi için% 40 nitelikli öğrencilerle çalışıyoruz.

Aşağıdaki tabloda, reddedilen ve kabul edilen kanalları destekleyen sayılar gösterilmektedir. seçenekleri için gösterilmiştir.

	Çoğunluk grubu		Azınlık grubu
	Kabul edildi	Reddedildi	Kabul edildi	Reddedildi
Uygun	14	21	6	9
Uygun Değil	0	45	0	5

Faydaları ve Dezavantajları

Fırsat eşitliğinin en önemli faydası, modelin pozitif ve negatif tahminlerin demografik gruplar arasında değişecek olması, modelin tercih edilen etiketi tahmin etmede eşit derecede başarılı olması kaydıyla ("giriş için uygun").

Şekil 4'teki model tahminleri demografik benzerliği karşılamaz, çoğunluk grubundaki bir öğrencinin kabul edilme şansı% 17, 5 ve bu gruptaki bir öğrencinin kabul edilme şansı% 30'dur. Ancak, nitelikli bir öğrencinin kabul edilme şansı% 40'tır. Bu durum, tartışma konusu açısından daha adil bir sonuçtur, kullanım alanına sahip olursunuz.

Fırsat eşitliğinin dezavantajlarından biri, tercih edilen etiketin açık olduğu durumlara örnek verilebilir. Diğer kullanıcılar kadar modelin hem pozitif sınıfı ("giriş için uygun") tahmin ettiğinden emin olun. ve negatif sınıf ("giriş için uygun değil"), bunun yerine metrik kullanmak daha mantıklı olabilir. olağanüstü olasılık: her iki etiket için eşit başarı oranları sağlar.

Fırsat eşitliğinin bir diğer dezavantajı da adil davranmak demografik gruplarda hata oranlarını toplu olarak karşılaştırarak her zaman uygulanabilir olmayabilir. Örneğin, kabul modelimizin veri kümesi demographic_group bir özelliği olmasaydı bu işlemi gerçekleştiremezdi nitelikli çoğunluk ve azınlık adayları için kabul oranlarının kırılımını yapmak ve fırsat eşitliğinin karşılanıp karşılanmadığını görmek için bunları karşılaştırmalısınız.

Bir sonraki bölümde, başka bir adalet metriğine bakacağız. ve adil kullanım ilkesine uygun hareket etme olanağı tüm örnekler için mevcuttur.

Alıştırma: Öğrendiklerinizi sınayın

Doğru/Yanlış: İkili sınıflandırma modelinde mümkün değildir hem demografik benzerliği hem de fırsat eşitliğini karşılamak için aynı tahmin grubuna sahiptir.

Doğru

Bir modelin tahminlerinin her iki demografiyi de karşılaması mümkündür ve fırsat eşitliği anlamına gelir. Sizin için bir iki metriğin de sağlandığı bir senaryo belirleyin ve ardından diğer metriği aşağıdaki yanıt seçeneğini tıklayın.

Yanlış

Bir modelin tahminlerinin her iki demografiyi de karşılaması mümkündür ve fırsat eşitliği anlamına gelir.

Örneğin, bir ikili sınıflandırıcı (bunun tercih ettiği etiket pozitif sınıftır) 100 örnek üzerinde değerlendirildiğinde, aşağıdaki karışıklık matrislerinde gösterilmiştir, demografik grup (çoğunlukla ve azınlık):

	Çoğunluk grubu		Azınlık grubu
	Tahmini pozitif	Tahmini negatif	Tahmini pozitif	Tahmini negatif
Gerçek pozitif	6	12	3	6
Gerçek negatif	10	36	6	21
	\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\)		\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\)

Hem çoğunluk hem de azınlık grupları pozitif tahmin oranına sahip demografik pariteyi ve gerçek pozitif oranı karşılamayı (tercih edilen etikete sahip örneklerin yüzdesi oranında %33 oranında artış, fırsat eşitliğini karşılamaktadır.

.

Anahtar terimler:

• Ön yargılar (etik/adillik)
• Fırsat eşitliği
• Denk oranlar