Bir önceki bölümde kabul modelimizi adalet açısından değerlendirdik: genel kabul oranlarını karşılaştırarak her iki demografik gruplar.
Alternatif olarak yalnızca nitelikli tedarikçi firmaların kabul oranlarını çoğunluk grubundaki ve azınlık grubundaki adaylar. Kabul oranları her iki gruptaki uygun öğrenciler arasında eşittir; fırsat eşitliği: tercih ettiğimiz etiketi ("giriş için uygun") olan öğrenciler eşit ait oldukları demografik gruba bakılmaksızın, kabul edilme şansı .
Önceki bölümden hareketle aday havuzumuzu yeniden gözden geçirelim:
Çoğunluk grubu | Azınlık grubu | |
---|---|---|
Uygun | 35 | 15 |
Uygun Değil | 45 | 5 |
Kabul modelinin çoğunluk grubundan 14 aday kabul ettiğini varsayalım ve azınlık grubundan 6 aday. Modelin kararlarını kabul oranı olarak ve fırsat eşitliği, uygun azınlık adaylarının oranı %40'tır.
![İki gruba ayrılmış 100 aday havuzu: Reddedildi
Adaylar (66 mavi öğrenci, 14 turuncu öğrenci) ve Kabul edilenler
Adaylar (14 mavi öğrenci, 6 turuncu öğrenci). Kabul edilenler bölümünde
grubunda, 20 öğrencinin tamamı yeşil renkte (
uygun) ve Reddedilenler grubunda ise 21 mavi öğrenci ve 9
turuncu öğrenciler ayrıca yeşil tonlu](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_equality_of_opportunity_by_qualifications.png?authuser=7&hl=tr)
Aşağıdaki tabloda, reddedilen ve kabul edilen kanalları destekleyen sayılar gösterilmektedir. seçenekleri için gösterilmiştir.
Çoğunluk grubu | Azınlık grubu | |||
---|---|---|---|---|
Kabul edildi | Reddedildi | Kabul edildi | Reddedildi | |
Uygun | 14 | 21 | 6 | 9 |
Uygun Değil | 0 | 45 | 0 | 5 |
Faydaları ve Dezavantajları
Fırsat eşitliğinin en önemli faydası, modelin pozitif ve negatif tahminlerin demografik gruplar arasında değişecek olması, modelin tercih edilen etiketi tahmin etmede eşit derecede başarılı olması kaydıyla ("giriş için uygun").
Şekil 4'teki model tahminleri demografik benzerliği karşılamaz, çoğunluk grubundaki bir öğrencinin kabul edilme şansı% 17, 5 ve bu gruptaki bir öğrencinin kabul edilme şansı% 30'dur. Ancak, nitelikli bir öğrencinin kabul edilme şansı% 40'tır. Bu durum, tartışma konusu açısından daha adil bir sonuçtur, kullanım alanına sahip olursunuz.
Fırsat eşitliğinin dezavantajlarından biri, tercih edilen etiketin açık olduğu durumlara örnek verilebilir. Diğer kullanıcılar kadar modelin hem pozitif sınıfı ("giriş için uygun") tahmin ettiğinden emin olun. ve negatif sınıf ("giriş için uygun değil"), bunun yerine metrik kullanmak daha mantıklı olabilir. olağanüstü olasılık: her iki etiket için eşit başarı oranları sağlar.
Fırsat eşitliğinin bir diğer dezavantajı da adil davranmak
demografik gruplarda hata oranlarını toplu olarak karşılaştırarak
her zaman uygulanabilir olmayabilir. Örneğin, kabul modelimizin veri kümesi
demographic_group
bir özelliği olmasaydı bu işlemi gerçekleştiremezdi
nitelikli çoğunluk ve azınlık adayları için kabul oranlarının kırılımını yapmak
ve fırsat eşitliğinin karşılanıp karşılanmadığını görmek için bunları karşılaştırmalısınız.
Bir sonraki bölümde, başka bir adalet metriğine bakacağız. ve adil kullanım ilkesine uygun hareket etme olanağı tüm örnekler için mevcuttur.
Alıştırma: Öğrendiklerinizi sınayın
Bir modelin tahminlerinin her iki demografiyi de karşılaması mümkündür ve fırsat eşitliği anlamına gelir.
Örneğin, bir ikili sınıflandırıcı (bunun tercih ettiği etiket pozitif sınıftır) 100 örnek üzerinde değerlendirildiğinde, aşağıdaki karışıklık matrislerinde gösterilmiştir, demografik grup (çoğunlukla ve azınlık):
Çoğunluk grubu | Azınlık grubu | |||
---|---|---|---|---|
Tahmini pozitif | Tahmini negatif | Tahmini pozitif | Tahmini negatif | |
Gerçek pozitif | 6 | 12 | 3 | 6 |
Gerçek negatif | 10 | 36 | 6 | 21 |
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
Hem çoğunluk hem de azınlık grupları pozitif tahmin oranına sahip demografik pariteyi ve gerçek pozitif oranı karşılamayı (tercih edilen etikete sahip örneklerin yüzdesi oranında %33 oranında artış, fırsat eşitliğini karşılamaktadır.