Şu ana kadar adalet metrikleriyle ilgili tartışmalarımız, eğitim sürecimizin ve test örnekleri, demografik grup için kapsamlı demografik veriler alt gruplara ayrılamaz. Ancak çoğu zaman böyle bir durum söz konusu değildir.
Giriş veri kümemizin tüm demografik verileri içermediğini varsayalım. Bunun yerine, demografik grup üyeliği yalnızca küçük bir yüzde olarak kaydedilir. Örneğin, hangi grubu istediklerini kendileri belirlemeyi tercih eden aitti. Bu durumda, aday havuzumuzun kabul edilenler ve reddedilen öğrenciler artık şu şekilde görünür:
Burada her iki demografi için de model tahminlerini değerlendirmek mümkün değildir. eşitliği veya eşitliği; çünkü elimizde demografik verilere sahip değiliz. hesaplayabilirsiniz. Ancak örnek olarak şunu içeren% 6'lık bir oranla her bir kullanıcı grubu için ayrı ayrı tahmin çiftlerini (çoğunluk adayı ile azınlık adayı) kıyaslandığında etkili olup olmadıklarını model tarafından eşit şekilde ele alınması gerekir.
Örneğin, bu özellik verilerini ayrıntılı bir şekilde incelediğimizi iki aday için (çoğunluk grubundaki bir aday ve azınlık grubundaki bir aday) bir yıldızla işaretlenmiştir) ve 24 saat içinde büyük bir alan kabul edilmeye her açıdan uygundur. Model her ikisi için de aynı tahmin (ya da her ikisi için de veya her iki adayı da kabul ettiğinde) karşı geçerliliğe ilişkin adalet sağlaması açısından önemlidir. Karşıt görüşlü adalet, iki tarafın da belirtilen hassas bir özellik hariç, tüm açılardan aynı olan örnekler (burada, demografik grup üyeliği) aynı modelle sonuçlanmalıdır bir tahmindir.
Faydaları ve dezavantajları
Daha önce de belirtildiği gibi, karşı bildirimli adaletin sunduğu önemli avantajlardan biri, Daha önce olduğu gibi, birçok durumda adalet tahminlerini değerlendirmek için diğer metrikler uygun olmaz. Veri kümesi, özellik değerleri söz konusu olduğunda, demografik benzerliği veya eşitliği kullanarak adaletin değerlendirilebilmesi fırsat. Ancak, bu grup özellikleri bir alt küme için kullanılabiliyorsa bir dizi örnektir ve her bir öğede karşılaştırılabilir eşdeğer çiftleri farklı gruplarda örnekler görüyorsanız, uygulayıcılar karşı olgusal adaleti tahminlerdeki olası önyargılar için modeli araştırmak üzere bir metrik olarak kullanır.
Buna ek olarak, demografik benzerlik ve mevcut eşitlik grupları toplu olarak değerlendirdiği için, bir projeyi etkileyen yanlılık sorunlarını düzeyinde tek tek tahmin düzeyinde kullanıcının sahip olduğu kullanarak değerlendirmedir. Örneğin, diyelim ki çoğunluk grubundan ve azınlıktan uygun adayları kabul eder grupta aynı orana sahip ancak en uygun niteliklere sahip azınlık adayı en nitelikli adaylar ise tam olarak aynı orana sahip en nitelikli adaylar için reddedilirken kimlik bilgileri kabul edilir. Karşı görüşlü adalet analizi, gözden kaçırılmış olabilecek ve bu tür uyuşmazlıkları çözüme kavuşturmak anlamına gelir.
Diğer yandan, karşıt görüşlere dayalı adaletin en büyük dezavantajı, model tahminlerinde yanlılığın bütünsel bir görünümünü sunar. Tanımlayıcı ve birkaç örnekli eşitsizliği telafi etmek yeterli olmayabilir ele alacağız.
Mümkün olduğu durumlarda, uygulayıcılar hem topluca hem de adalet analizi (demografik denklik ya da eşitlik gibi bir metrik kullanarak fırsatı) sunarak en geniş kapsamlıyı elde etmek için karşıt görüşlü adalet analizi Düzeltilmesi gereken potansiyel yanlılık sorunlarıyla ilgili analiz.
Alıştırma: Öğrendiklerinizi sınayın
Yukarıdaki Şekil 7'de bulunan tahmin kümesinde, özdeş çiftlerden sonra (grup üyeliği hariç) gösterilen tahminlerin karşı bildirimli olma durumunu ihlal ettiğini biliyor muydunuz?
Özet
Demografik denklik, fırsat eşitliği ve her biri farklı problemlerin matematiksel tanımlarını model tahminlerinde adil ve tutarlı olmasını sağlar. Bunlar olası üç olası satış iki yöntemi daha vardır. Bazı adalet tanımları ise karşılıklı olarak uyumlu değildir, Yani aynı anda onları memnun etmek mümkün olmayabilir. ilişkilendirmesine yardımcı olur.
Peki, "doğru" seçeneğini nasıl adalet metriği nedir? Şunları yapmanız gerekir: kullanım bağlamını ve belirlediğiniz kapsayıcı hedefleri neyi başarmak istediğinizi seçin. Örneğin, "hedefleriniz arasında eşit temsil (bu örnekte, en uygun metrik demografik denklik olabilir) yoksa en iyi fırsat eşitliği sağlamak (burada, fırsat eşitliğinin metrik)?
Makine Öğreniminde Adalet hakkında daha fazla bilgi edinmek ve bu sorunları daha derinlemesine keşfetmek için bkz. Adillik ve Makine Öğrenimi: Sınırlamalar ve Fırsatlar - Solon Barocas, Moritz Hardt ve Arvind Narayanan.