در بخش قبل، مدل پذیرش خود را برای عدالت با استفاده از برابری جمعیتی، با مقایسه نرخ پذیرش کلی برای هر دو گروه جمعیتی ارزیابی کردیم.
از طرف دیگر، می‌توانیم نرخ‌های پذیرش را فقط برای داوطلبان واجد شرایط در گروه اکثریت و گروه اقلیت مقایسه کنیم. اگر نرخ پذیرش برای دانشجویان واجد شرایط در هر دو گروه برابر باشد، مدل برابری فرصت را نشان می‌دهد: دانشجویان با برچسب ترجیحی ما ("واجد شرایط برای پذیرش") بدون در نظر گرفتن اینکه به کدام گروه جمعیتی تعلق دارند، شانس یکسانی برای پذیرش دارند.
بیایید به مجموعه نامزدهای خود در بخش قبل نگاه کنیم:
| گروه اکثریت | گروه اقلیت | |
|---|---|---|
| واجد شرایط | 35 | 15 |
| فاقد صلاحیت | 45 | 5 |
فرض کنید مدل پذیرش 14 نامزد از گروه اکثریت و 6 نامزد از گروه اقلیت را می پذیرد. تصمیمات این مدل برابری فرصت ها را برآورده می کند، زیرا نرخ پذیرش برای اکثریت واجد شرایط و کاندیداهای اقلیت واجد شرایط 40٪ است.
جدول زیر اعداد حامی کاندیداهای رد شده و پذیرفته شده را در شکل 4 نشان می دهد.
| گروه اکثریت | گروه اقلیت | |||
|---|---|---|---|---|
| پذیرفته شد | رد شد | پذیرفته شد | رد شد | |
| واجد شرایط | 14 | 21 | 6 | 9 |
| فاقد صلاحیت | 0 | 45 | 0 | 5 |
مزایا و معایب
مزیت اصلی برابری فرصت این است که به نسبت پیش‌بینی‌های مثبت به منفی مدل اجازه می‌دهد تا در گروه‌های جمعیتی متفاوت باشد، مشروط بر اینکه مدل به همان اندازه در پیش‌بینی برچسب ترجیحی ("واجد شرایط برای پذیرش") برای هر دو گروه موفق باشد.
پیش‌بینی‌های مدل در شکل 4 برابری جمعیتی را برآورده نمی‌کند ، زیرا یک دانش‌آموز در گروه اکثریت 17.5 درصد شانس پذیرش و یک دانش‌آموز در گروه اقلیت 30 درصد شانس پذیرش دارد. با این حال، یک دانش آموز واجد شرایط 40٪ شانس پذیرش دارد، صرف نظر از اینکه به کدام گروه تعلق دارد، که مسلماً نتیجه ای است که در این مورد استفاده از مدل خاص منصفانه تر است.
یکی از اشکالات برابری فرصت این است که برای موارد استفاده طراحی شده است که در آن یک برچسب ترجیحی واضح وجود دارد. اگر به همان اندازه مهم است که مدل هم کلاس مثبت ("واجد شرایط برای پذیرش") و هم کلاس منفی ("واجد شرایط برای پذیرش") را برای همه گروه های جمعیتی پیش بینی کند، ممکن است منطقی باشد که در عوض از شانس مساوی متریک استفاده شود، که برابر را اعمال می کند. نرخ موفقیت برای هر دو برچسب
یکی دیگر از اشکالات برابری فرصت این است که انصاف را با مقایسه میزان خطا در مجموع برای گروه های جمعیتی ارزیابی می کند، که ممکن است همیشه امکان پذیر نباشد. به عنوان مثال، اگر مجموعه داده مدل پذیرش ما ویژگی demographic_group را نداشته باشد، نمی‌توان نرخ پذیرش را برای اکثریت و اقلیت نامزدهای واجد شرایط تشخیص داد و آنها را با هم مقایسه کرد تا ببینیم آیا برابری فرصت‌ها برآورده شده است یا خیر.
در بخش بعدی، یک معیار انصاف دیگر را بررسی خواهیم کرد، انصاف خلاف واقع، که می‌تواند در سناریوهایی که داده‌های جمعیتی برای همه نمونه‌ها وجود ندارد، استفاده شود.
تمرین: درک خود را بررسی کنید
ممکن است پیش‌بینی‌های یک مدل هم برابری جمعیتی و هم برابری فرصت‌ها را برآورده کند.
برای مثال، فرض کنید یک طبقه‌بندی‌کننده باینری (که برچسب ترجیحی آن کلاس مثبت است) بر روی 100 مثال ارزیابی می‌شود، که نتایج آن در ماتریس‌های سردرگمی زیر نشان داده شده است که بر اساس گروه جمعیتی (اکثریت و اقلیت) تقسیم‌بندی شده‌اند:
| گروه اکثریت | گروه اقلیت | |||
|---|---|---|---|---|
| مثبت پیش بینی کرد | منفی پیش بینی کرد | مثبت پیش بینی کرد | منفی پیش بینی کرد | |
| مثبت واقعی | 6 | 12 | 3 | 6 |
| منفی واقعی | 10 | 36 | 6 | 21 |
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) | \(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) | |||
هر دو گروه اکثریت و اقلیت دارای نرخ پیش‌بینی مثبت 25٪، برابری جمعیتی رضایت بخش، و نرخ مثبت واقعی (درصد نمونه‌هایی با برچسب ترجیحی که به درستی طبقه‌بندی شده‌اند) 33٪، رضایت‌بخش برابری فرصت‌ها هستند.