هنگام ارزیابی یک مدل، معیارهای محاسبه شده در برابر کل تست یا مجموعه اعتبارسنجی، همیشه تصویر دقیقی از منصفانه بودن مدل ارائه نمی دهد. عملکرد عالی مدل به طور کلی برای اکثر نمونه ها ممکن است عملکرد ضعیف را در زیرمجموعه اقلیتی از نمونه ها پنهان کند، که می تواند منجر به پیش بینی های مدل مغرضانه شود. استفاده از معیارهای عملکرد کلی مانند دقت ، یادآوری ، و دقت لزوماً این مسائل را آشکار نمی کند.
می‌توانیم مدل پذیرش خود را مجدداً بررسی کنیم و با رعایت انصاف، تکنیک‌های جدیدی را برای ارزیابی پیش‌بینی‌های آن برای سوگیری بررسی کنیم.
فرض کنید مدل طبقه بندی پذیرش، 20 دانشجو را برای پذیرش در دانشگاه از بین 100 داوطلب انتخاب می کند که به دو گروه جمعیتی تعلق دارند: گروه اکثریت (آبی، 80 دانشجو) و گروه اقلیت (نارنجی، 20 دانشجو).
شکل 1. گروه نامزدی 100 دانش آموز: 80 دانش آموز متعلق به گروه اکثریت (آبی) و 20 دانش آموز متعلق به گروه اقلیت (نارنجی) هستند.
این مدل باید دانش‌آموزان واجد شرایط را به شیوه‌ای بپذیرد که برای داوطلبان هر دو گروه جمعیتی منصفانه باشد.
چگونه باید پیش بینی های مدل را برای عدالت ارزیابی کنیم؟ معیارهای مختلفی وجود دارد که می‌توانیم در نظر بگیریم، که هر یک تعریف ریاضی متفاوتی از «انصاف» ارائه می‌کنند. در بخش‌های بعدی، سه مورد از این معیارهای انصاف را به طور عمیق بررسی خواهیم کرد: برابری جمعیتی، برابری فرصت‌ها و انصاف خلاف واقع.
تاریخ آخرین بهروزرسانی 2024-10-31 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2024-10-31 بهوقت ساعت هماهنگ جهانی."],[[["Aggregate model performance metrics like precision, recall, and accuracy can hide biases against minority groups."],["Fairness in model evaluation involves ensuring equitable outcomes across different demographic groups."],["This page explores various fairness metrics, including demographic parity, equality of opportunity, and counterfactual fairness, to assess model predictions for bias."],["Evaluating model predictions with these metrics helps in identifying and mitigating potential biases that can negatively affect minority groups."],["The goal is to develop models that not only achieve good overall performance but also ensure fair treatment for all individuals, regardless of their demographic background."]]],[]]
