אחרי שאנחנו מזהים מקור של הטיה בנתוני האימון, אנחנו יכולים לנקוט פעולות יזום כדי לצמצם את ההשפעות שלה. מהנדסי למידת מכונה (ML) משתמשים בדרך כלל בשתי אסטרטגיות עיקריות כדי לתקן הטיה:
- הרחבת נתוני האימון.
- שינוי פונקציית האובדן של המודל.
הוספת נתוני אימון
אם בבדיקה של נתוני האימון התגלו בעיות של נתונים חסרים, שגויים או מוטים, בדרך כלל הדרך הישירה ביותר לטפל בבעיה היא לאסוף נתונים נוספים.
עם זאת, הרחבת נתוני האימון יכולה להיות אידיאלית, אבל החיסרון של הגישה הזו הוא שהיא לא תמיד אפשרית, בגלל מחסור בנתונים זמינים או אילוצי משאבים שמפריעים לאיסוף הנתונים. לדוגמה, יכול להיות שאיסוף נתונים נוספים יהיה יקר מדי או זמן רב מדי, או שהוא לא יהיה אפשרי בגלל הגבלות משפטיות או הגבלות שקשורות לפרטיות.
שינוי פונקציית האופטימיזציה של המודל
במקרים שבהם לא ניתן לאסוף נתוני אימון נוספים, גישה נוספת לצמצום ההטיות היא לשנות את אופן החישוב של אובדן הנתונים במהלך אימון המודל. בדרך כלל אנחנו משתמשים בפונקציית אופטימיזציה כמו log loss כדי להעניש על חיזויים שגויים של המודלים. עם זאת, אובדן היומנים לא מתחשב גם בחברות בקבוצת משנה. לכן, במקום להשתמש באובדן יומנים, אנחנו יכולים לבחור בפונקציית אופטימיזציה שנועדה להטיל עונשים על שגיאות באופן שמתחשב בהוגנות, המנוגדת לחוסר האיזון שזיהינו בנתוני האימון שלנו.
בספרייה של TensorFlow לטיפול במודלים יש כלי שאפשר להשתמש בהם כדי להחיל שתי שיטות שונות לצמצום הטיה במהלך אימון המודל:
MinDiff: MinDiff שואף לאזן את השגיאות בשני פלחים שונים של נתונים (תלמידים/ות ממגדר זכר/נקבה לעומת תלמידים/ות ממגדר לא בינארי) על ידי הוספת ענישה על הבדלים בהתפלגויות התחזיות של שתי הקבוצות.
התאמת לוגיטים של תרחיש נגדית: התאמת לוגיטים של תרחיש נגדית (CLP) נועדה לוודא ששינוי של מאפיין רגיש בדוגמה מסוימת לא ישנה את התחזית של המודל לגבי הדוגמה הזו. לדוגמה, אם מערך נתונים של אימון מכיל שתי דוגמאות שהערכים של המאפיינים שלהן זהים, מלבד ערך
genderשלmaleבדוגמאה אחת וערךgenderשלnonbinaryבדוגמאה השנייה, CLP יוסיף עונש אם התחזיות לשתי הדוגמאות האלה יהיו שונות.
השיטות שבוחרים לשינוי של פונקציית האופטימיזציה תלויות בתרחישי השימוש של המודל. בחלק הבא נבחן מקרוב את האופן שבו ניתן לגשת למשימה של הערכת מודל למידת הוגנות בהתאם לתרחישים לדוגמה האלה.