تا کنون، بحث های ما در مورد معیارهای انصاف فرض شده است که نمونه های آموزشی و آزمایشی ما حاوی داده های جمعیت شناختی جامع برای زیرگروه های جمعیتی مورد ارزیابی است. اما اغلب اینطور نیست.
فرض کنید مجموعه داده های پذیرش ما شامل داده های جمعیتی کامل نیست. در عوض، عضویت در گروه جمعیتی فقط برای درصد کمی از نمونه‌ها ثبت می‌شود، مانند دانش‌آموزانی که تصمیم گرفتند خود شناسایی کنند که به کدام گروه تعلق دارند. در این مورد، تفکیک مجموعه داوطلبان ما به دانشجویان پذیرفته شده و مردود شده اکنون به صورت زیر است:
در اینجا ارزیابی پیش‌بینی‌های مدل برای برابری جمعیتی یا برابری فرصت‌ها امکان‌پذیر نیست، زیرا ما برای 94 درصد نمونه‌های خود داده‌های جمعیتی نداریم. با این حال، برای 6 درصد نمونه‌هایی که حاوی ویژگی‌های جمعیت‌شناختی هستند، هنوز می‌توانیم جفت پیش‌بینی‌های فردی را با هم مقایسه کنیم (نامزد اکثریت در مقابل نامزد اقلیت) و ببینیم که آیا مدل به‌طور عادلانه با آنها برخورد کرده است یا خیر.
برای مثال، فرض کنید که داده‌های ویژگی موجود برای دو نامزد (یکی در گروه اکثریت و دیگری در گروه اقلیت، که با ستاره در تصویر زیر مشروح شده است) را به‌طور کامل بررسی کرده‌ایم و مشخص کرده‌ایم که آنها واجد شرایط یکسانی هستند. پذیرش از همه لحاظ اگر مدل پیش‌بینی یکسانی را برای هر دوی این نامزدها انجام دهد (یعنی هر دو نامزد را رد کند یا هر دو نامزد را بپذیرد)، گفته می‌شود که انصاف خلاف واقع را برای این نمونه‌ها برآورده می‌کند. انصاف متضاد تصریح می کند که دو نمونه که از همه جهات یکسان هستند، به جز یک ویژگی حساس معین (در اینجا، عضویت در گروه جمعیتی)، باید به پیش بینی مدل یکسانی منجر شود.
مزایا و معایب
همانطور که قبلا ذکر شد، یکی از مزایای کلیدی انصاف خلاف واقع این است که می توان از آن برای ارزیابی پیش بینی ها برای انصاف در بسیاری از مواردی که استفاده از معیارهای دیگر امکان پذیر نیست استفاده کرد. اگر یک مجموعه داده شامل مجموعه کاملی از مقادیر ویژگی برای ویژگی‌های گروه مربوطه مورد بررسی نباشد، ارزیابی انصاف با استفاده از برابری جمعیتی یا برابری فرصت‌ها ممکن نخواهد بود. با این حال، اگر این ویژگی‌های گروهی برای زیرمجموعه‌ای از نمونه‌ها در دسترس باشند، و امکان شناسایی جفت‌های مشابه از نمونه‌های مشابه در گروه‌های مختلف وجود داشته باشد، پزشکان می‌توانند از عدالت خلاف واقع به عنوان معیاری برای بررسی مدل برای تعصبات احتمالی در پیش‌بینی‌ها استفاده کنند.
علاوه بر این، از آنجایی که معیارهایی مانند برابری جمعیتی و برابری فرصت‌ها گروه‌ها را در مجموع ارزیابی می‌کنند، ممکن است مسائل سوگیری را که بر مدل در سطح پیش‌بینی‌های فردی تأثیر می‌گذارد، پنهان کنند، که می‌تواند با ارزیابی با استفاده از عدالت خلاف واقع آشکار شود. به عنوان مثال، فرض کنید مدل پذیرش ما نامزدهای واجد شرایط را از گروه اکثریت و گروه اقلیت به یک نسبت می پذیرد، اما واجد شرایط ترین نامزد اقلیت رد می شود در حالی که واجد شرایط ترین کاندیدای اکثریت که دقیقاً همان اعتبار را دارد پذیرفته می شود. تجزیه و تحلیل عادلانه خلاف واقع می تواند به شناسایی این نوع اختلافات کمک کند تا بتوان به آنها رسیدگی کرد.
از طرف دیگر، نکته منفی کلیدی انصاف خلاف واقع این است که دیدگاهی جامع از سوگیری در پیش‌بینی‌های مدل ارائه نمی‌کند. شناسایی و اصلاح تعداد انگشت شماری از نابرابری ها در جفت مثال ممکن است برای رسیدگی به مسائل سوگیری سیستمیک که کل زیر گروه های نمونه را تحت تاثیر قرار می دهد کافی نباشد.
در مواردی که ممکن است، پزشکان می‌توانند هم تجزیه و تحلیل عدالت جمعی (با استفاده از معیاری مانند برابری جمعیتی یا برابری فرصت‌ها) و هم تجزیه و تحلیل عادلانه خلاف واقع را برای به دست آوردن گسترده‌ترین طیف بینش در مورد مسائل سوگیری احتمالی که نیاز به اصلاح دارند، در نظر بگیرند.
تمرین: درک خود را بررسی کنید
در مجموعه پیش‌بینی‌های شکل 7 بالا، کدام یک از جفت‌های مثال‌های یکسان (به استثنای عضویت گروه) زیر پیش‌بینی‌هایی دریافت کردند که انصاف خلاف واقع را نقض می‌کنند؟
خلاصه
برابری جمعیتی ، برابری فرصت ها ، و انصاف خلاف واقع، هر کدام تعاریف ریاضی متفاوتی از انصاف را برای پیش بینی های مدل ارائه می دهند. و اینها فقط سه راه ممکن برای تعیین کمیت انصاف هستند. برخی از تعاریف انصاف حتی با یکدیگر ناسازگار هستند، به این معنی که ممکن است برآورده کردن آنها به طور همزمان برای پیش‌بینی‌های یک مدل معین غیرممکن باشد.
بنابراین چگونه معیار انصاف "درست" را برای مدل خود انتخاب می کنید؟ شما باید زمینه ای که در آن استفاده می شود و اهداف کلی که می خواهید به آن برسید را در نظر بگیرید. به عنوان مثال، آیا هدف دستیابی به بازنمایی برابر است (در این مورد، برابری جمعیتی ممکن است معیار بهینه باشد) یا دستیابی به فرصت برابر (در اینجا، برابری فرصت ممکن است بهترین معیار باشد)؟
برای کسب اطلاعات بیشتر در مورد انصاف ML و بررسی عمیق تر این مسائل، به انصاف و یادگیری ماشینی: محدودیت ها و فرصت ها توسط سولون باروکاس، موریتز هارد و آرویند نارایانان مراجعه کنید.