Şu ana kadar adalet metrikleriyle ilgili tartışmalarımız, eğitim sürecimizin ve test örnekleri, demografik grup için kapsamlı demografik veriler alt gruplara ayrılamaz. Ancak çoğu zaman böyle bir durum söz konusu değildir.
Giriş veri kümemizin tüm demografik verileri içermediğini varsayalım. Bunun yerine, demografik grup üyeliği yalnızca küçük bir yüzde olarak kaydedilir. Örneğin, hangi grubu istediklerini kendileri belirlemeyi tercih eden aitti. Bu durumda, aday havuzumuzun kabul edilenler ve reddedilen öğrenciler artık şu şekilde görünür:
![100 öğrenciden oluşan ve iki gruba ayrılmış aday havuzu:
Reddedilen Adaylar (80 öğrenci simgesi) ve Kabul Edilen Adaylar (20
öğrenci simgeleri). Simgelerin tümü gri gölgeli (bu simgelerin bulunduğu
demografik grup bilinmiyor) gösterilir. Reddedilenler bölümünde
iki öğrenci simgesi gölgeli mavi, iki öğrenci simgesi ise gölgeli
portakal. Kabul edilenler grubunda, bir öğrenci simgesi mavi gölgeli,
gölgeli turuncu.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_candidate_pool.png?authuser=7&hl=tr)
Burada her iki demografi için de model tahminlerini değerlendirmek mümkün değildir. eşitliği veya eşitliği; çünkü elimizde demografik verilere sahip değiliz. hesaplayabilirsiniz. Ancak örnek olarak şunu içeren% 6'lık bir oranla her bir kullanıcı grubu için ayrı ayrı tahmin çiftlerini (çoğunluk adayı ile azınlık adayı) kıyaslandığında etkili olup olmadıklarını model tarafından eşit şekilde ele alınması gerekir.
Örneğin, bu özellik verilerini ayrıntılı bir şekilde incelediğimizi iki aday için (çoğunluk grubundaki bir aday ve azınlık grubundaki bir aday) bir yıldızla işaretlenmiştir) ve 24 saat içinde büyük bir alan kabul edilmeye her açıdan uygundur. Model her ikisi için de aynı tahmin (ya da her ikisi için de veya her iki adayı da kabul ettiğinde) karşı geçerliliğe ilişkin adalet sağlaması açısından önemlidir. Karşıt görüşlü adalet, iki tarafın da belirtilen hassas bir özellik hariç, tüm açılardan aynı olan örnekler (burada, demografik grup üyeliği) aynı modelle sonuçlanmalıdır bir tahmindir.
![Önceki resimdekiyle aynı aday havuzu, ancak şu bölge hariç:
bu sürümde, mavi renkli bir öğrenci simgesi (çoğunluk grubuna ait) ve
Reddedilen bölümünde turuncu bir öğrenci simgesi (azınlık grubuna ait)
grubu, bu iki adayın mükemmel olduğunu belirten bir yıldızla
aynı (demografik grup dışında).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_satisfied.png?authuser=7&hl=tr)
Faydaları ve dezavantajları
Daha önce de belirtildiği gibi, karşı bildirimli adaletin sunduğu önemli avantajlardan biri, Daha önce olduğu gibi, birçok durumda adalet tahminlerini değerlendirmek için diğer metrikler uygun olmaz. Veri kümesi, özellik değerleri söz konusu olduğunda, demografik benzerliği veya eşitliği kullanarak adaletin değerlendirilebilmesi fırsat. Ancak, bu grup özellikleri bir alt küme için kullanılabiliyorsa bir dizi örnektir ve her bir öğede karşılaştırılabilir eşdeğer çiftleri farklı gruplarda örnekler görüyorsanız, uygulayıcılar karşı olgusal adaleti tahminlerdeki olası önyargılar için modeli araştırmak üzere bir metrik olarak kullanır.
Buna ek olarak, demografik benzerlik ve mevcut eşitlik grupları toplu olarak değerlendirdiği için, bir projeyi etkileyen yanlılık sorunlarını düzeyinde tek tek tahmin düzeyinde kullanıcının sahip olduğu kullanarak değerlendirmedir. Örneğin, diyelim ki çoğunluk grubundan ve azınlıktan uygun adayları kabul eder grupta aynı orana sahip ancak en uygun niteliklere sahip azınlık adayı en nitelikli adaylar ise tam olarak aynı orana sahip en nitelikli adaylar için reddedilirken kimlik bilgileri kabul edilir. Karşı görüşlü adalet analizi, gözden kaçırılmış olabilecek ve bu tür uyuşmazlıkları çözüme kavuşturmak anlamına gelir.
Diğer yandan, karşıt görüşlere dayalı adaletin en büyük dezavantajı, model tahminlerinde yanlılığın bütünsel bir görünümünü sunar. Tanımlayıcı ve birkaç örnekli eşitsizliği telafi etmek yeterli olmayabilir ele alacağız.
Mümkün olduğu durumlarda, uygulayıcılar hem topluca hem de adalet analizi (demografik denklik ya da eşitlik gibi bir metrik kullanarak fırsatı) sunarak en geniş kapsamlıyı elde etmek için karşıt görüşlü adalet analizi Düzeltilmesi gereken potansiyel yanlılık sorunlarıyla ilgili analiz.
Alıştırma: Öğrendiklerinizi sınayın
![Alıştırma Figürü. İki daire grubu: Negatif
Tahminler ve Pozitif Tahminler.
Negatif Tahminler 50 daireden oluşur:
39 gri daire, 8 mavi daire ve 3 turuncu daire. Bir
mavi daire 'A', turuncu bir daire 'A',
ve bir mavi daire "C" olarak etiketlenmiş.
Pozitif Tahminler 15 halkadan oluşur:
10 gri daire, 3 mavi daire ve 2
turuncu daireler. Bir mavi daire 'B' olarak etiketlenmiş, bir tanesi turuncu
daire "B", mavi bir daire ise "C" olarak etiketlenmiştir.
Diyagramın altındaki açıklamalarda mavi dairelerin
çoğunluk grubunda olduğu gibi turuncu daireler de
azınlık grubunda yer alır, gri daireler ise bu
grup üyeliği bilinmeyen örnekler](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_exercise_diagram.png?authuser=7&hl=tr)
Yukarıdaki Şekil 7'de bulunan tahmin kümesinde, özdeş çiftlerden sonra (grup üyeliği hariç) gösterilen tahminlerin karşı bildirimli olma durumunu ihlal ettiğini biliyor muydunuz?
Özet
Demografik denklik, fırsat eşitliği ve her biri farklı problemlerin matematiksel tanımlarını model tahminlerinde adil ve tutarlı olmasını sağlar. Bunlar olası üç olası satış iki yöntemi daha vardır. Bazı adalet tanımları ise karşılıklı olarak uyumlu değildir, Yani aynı anda onları memnun etmek mümkün olmayabilir. ilişkilendirmesine yardımcı olur.
Peki, "doğru" seçeneğini nasıl adalet metriği nedir? Şunları yapmanız gerekir: kullanım bağlamını ve belirlediğiniz kapsayıcı hedefleri neyi başarmak istediğinizi seçin. Örneğin, "hedefleriniz arasında eşit temsil (bu örnekte, en uygun metrik demografik denklik olabilir) yoksa en iyi fırsat eşitliği sağlamak (burada, fırsat eşitliğinin metrik)?
Makine Öğreniminde Adalet hakkında daha fazla bilgi edinmek ve bu sorunları daha derinlemesine keşfetmek için bkz. Adillik ve Makine Öğrenimi: Sınırlamalar ve Fırsatlar - Solon Barocas, Moritz Hardt ve Arvind Narayanan.