انصاف: کاهش تعصب

هنگامی که منبع سوگیری در داده های آموزشی شناسایی شد، می توانیم اقدامات پیشگیرانه ای برای کاهش اثرات آن انجام دهیم. دو استراتژی اصلی وجود دارد که مهندسان یادگیری ماشین (ML) معمولاً برای اصلاح سوگیری استفاده می‌کنند:

• افزایش داده های آموزشی
• تنظیم عملکرد از دست دادن مدل.

افزایش داده های آموزشی

اگر ممیزی داده‌های آموزشی مشکلاتی را در مورد داده‌های گمشده، نادرست یا منحرف نشان دهد، ساده‌ترین راه برای رسیدگی به مشکل اغلب جمع‌آوری داده‌های اضافی است.

با این حال، در حالی که افزایش داده‌های آموزشی می‌تواند ایده‌آل باشد، اما جنبه منفی این رویکرد این است که می‌تواند غیرقابل اجرا باشد، یا به دلیل کمبود داده‌های موجود یا محدودیت‌های منابع که مانع از جمع‌آوری داده‌ها می‌شود. به عنوان مثال، جمع آوری داده های بیشتر ممکن است بسیار پرهزینه یا وقت گیر باشد، یا به دلیل محدودیت های قانونی/حریم خصوصی قابل اجرا نباشد.

تنظیم تابع بهینه سازی مدل

در مواردی که جمع‌آوری داده‌های آموزشی اضافی امکان‌پذیر نیست، رویکرد دیگر برای کاهش تعصب، تنظیم نحوه محاسبه ضرر در طول آموزش مدل است. ما معمولاً از یک تابع بهینه سازی مانند از دست دادن گزارش برای جریمه کردن پیش بینی های مدل نادرست استفاده می کنیم. با این حال، از دست دادن گزارش، عضویت در زیر گروه را در نظر نمی گیرد. بنابراین به جای استفاده از از دست دادن گزارش، می‌توانیم یک تابع بهینه‌سازی را انتخاب کنیم که برای جریمه کردن خطاها به شیوه‌ای عادلانه طراحی شده است که با عدم تعادلی که در داده‌های آموزشی خود شناسایی کرده‌ایم مقابله می‌کند.

کتابخانه اصلاح مدل TensorFlow ابزارهایی را برای به کارگیری دو تکنیک مختلف کاهش تعصب در طول آموزش مدل ارائه می دهد:

• MinDiff : هدف MinDiff متعادل کردن خطاها برای دو بخش مختلف از داده ها (دانش آموزان پسر/زن در مقابل دانش آموزان غیر باینری) با اضافه کردن یک جریمه برای تفاوت در توزیع های پیش بینی برای دو گروه است.

• جفت‌سازی لاجیت متضاد : هدف جفت‌سازی لاجیت متضاد (CLP) این است که اطمینان حاصل شود که تغییر ویژگی حساس یک مثال، پیش‌بینی مدل را برای آن مثال تغییر نمی‌دهد. به عنوان مثال، اگر یک مجموعه داده آموزشی شامل دو مثال باشد که مقادیر ویژگی‌های آنها یکسان است، به جز اینکه یکی دارای ارزش gender male و دیگری دارای ارزش gender nonbinary باشد، اگر پیش‌بینی‌های این دو مثال متفاوت باشد، CLP یک جریمه اضافه می‌کند.

تکنیک هایی که برای تنظیم تابع بهینه سازی انتخاب می کنید به موارد استفاده مدل بستگی دارد. در بخش بعدی، با در نظر گرفتن این موارد استفاده، نگاه دقیق‌تری به چگونگی نزدیک شدن به کار ارزیابی یک مدل برای انصاف خواهیم داشت.

تمرین: درک خود را بررسی کنید

کدام یک از عبارات زیر در مورد تکنیک‌های کاهش تعصب درست است؟

MinDiff و CLP هر دو اختلاف در عملکرد مدل مرتبط با ویژگی های حساس را جریمه می کنند

هدف هر دو تکنیک کاهش تعصب با جریمه کردن خطاهای پیش‌بینی ناشی از عدم تعادل در نحوه نمایش ویژگی‌های حساس در داده‌های آموزشی است.

MinDiff تفاوت‌ها در توزیع کلی پیش‌بینی‌ها را برای برش‌های مختلف داده جریمه می‌کند، در حالی که CLP مغایرت‌ها در پیش‌بینی‌ها را برای جفت مثال‌های جداگانه جریمه می‌کند.

MinDiff با تراز کردن توزیع امتیاز برای دو زیر گروه به تعصب می پردازد. CLP با حصول اطمینان از اینکه نمونه‌های منفرد صرفاً به دلیل عضویت در زیرگروه‌ها متفاوت رفتار نمی‌شوند، با سوگیری مقابله می‌کند.

افزودن نمونه های بیشتر به مجموعه داده آموزشی همیشه به مقابله با سوگیری در پیش بینی های یک مدل کمک می کند.

افزودن نمونه‌های آموزشی بیشتر یک استراتژی مؤثر برای کاهش تعصب است، اما ترکیب داده‌های آموزشی جدید مهم است. اگر نمونه‌های آموزشی اضافی، عدم تعادل مشابه با داده‌های اصلی را نشان دهند، احتمالاً به کاهش تعصب موجود کمکی نخواهند کرد.

اگر با افزودن داده‌های آموزشی بیشتر، سوگیری را کاهش می‌دهید، نباید در طول تمرین از MinDiff یا CLP استفاده کنید.

افزایش داده های آموزشی و استفاده از تکنیک هایی مانند MinDiff یا CLP می توانند مکمل یکدیگر باشند. به عنوان مثال، یک مهندس ML ممکن است بتواند داده های آموزشی اضافی کافی را جمع آوری کند تا اختلاف عملکرد را تا 30٪ کاهش دهد و سپس از MinDiff برای کاهش بیشتر اختلاف تا 50٪ دیگر استفاده کند.

شرایط کلیدی:

• تعصب (اخلاق / انصاف)
• از دست دادن گزارش