אחת מהשיטות שבהן נוכל להשתמש כדי להעריך את תחזיות המודל שלנו להוגנות היא להשוות את שיעורי הכניסה לקבוצת הרוב ולקבוצת המיעוט. אם שני שיעורי הקבלה שווים, אז החיזויים של המודל מוצגים שוויון דמוגרפי: הסיכוי של התלמיד להתקבל לאוניברסיטה לא משתנה קבוצה דמוגרפית.
נניח שמודל הקבלה מקבל 16 מועמדים מהרוב קבוצה ו-4 מועמדים מקבוצת המיעוט. ההחלטות של המודל להתאים לשוויון הדמוגרפי, כמו שיעור ההבעת הסכמה גם לרוב וגם המועמדים למיעוט הם 20%.
![מאגר המועמדים, מחולק לשתי קבוצות: מועמדים שנדחו (64 בצבע כחול
תלמידים, 16 תלמידים כתומים) ומועמדים שהתקבלו (16 כחול
תלמידים כתומים).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=0000&hl=he)
בטבלה הבאה מוצגים הערכים של מספרי הטלפון שתומכים למילות מפתח שנדחו ואושרו המועמדים השונים, כפי שמתואר באיור 2.
קבוצת רוב | קבוצת מיעוט | |
---|---|---|
אושר | 16 | 4 |
נדחה | 64 | 16 |
שיעור קבלה | 20% | 20% |
פעילות גופנית: בדקו את האינטואיציה
ועדת הקבלה לאוניברסיטה בוחנת את השימוש בשוויון דמוגרפי כמדד להערכת ההוגנות עבור המודל שלהם, והם זקוקים להדרכה שלכם. כדאי להבין את היתרונות והחסרונות של הגישה הזו. מי יכול לזהות pro וחסרון אחד להערכת החיזויים של המודל באמצעות מידע דמוגרפי זוגיות?
ממשיכים לקרוא את הקטע הבא, יתרונות חסרונות – לסיכום היתרונות והחסרונות העיקריים של השימוש שוויון דמוגרפי.
יתרונות וחסרונות
היתרון העיקרי של שוויון דמוגרפי בדוגמת הקבלה שלנו הוא מבטיח שגם קבוצות הרוב וגם קבוצות המיעוט מיוצגות באישור בכיתה של התלמידים אותם יחסים כמו בקבוצת המועמדים. כלומר, אם מאגר המועמדים כולל 80% מהמועמדים בקבוצת הרוב ו-20% מהמועמדים לקבוצות מיעוט, שוויון דמוגרפי מבטיח שהקבוצה מהמקבלים יהיו גם 80% סטודנטים מקבוצת הרוב ו-20% מקבוצת מיעוט תלמידים.
עם זאת, לשוויון הדמוגרפי יש חסרון משמעותי אחד: הוא לא לוקח התפלגות התחזיות לכל קבוצה דמוגרפית (מספר החיזויים תלמידים המסווגים כ"מוסמכים" לעומת 'לא כשיר') ולהביא בחשבון להעריך את האופן שבו צריך להקצות את 20 משבצות הקבלה.
בואו נסתכל שוב על ההרכב של מאגר המועמדים למעלה. עם זאת, הפעם נסווג את המועמדים לא רק לפי קבוצה דמוגרפית, וגם לפי הקביעה אם המודל נתן ניקוד לכל מועמד כ"כשיר" או "undefined":
![אותו פירוט של מועמדים שנדחו לעומת מועמדים שהתקבלו
אבל הפעם 50 התלמידים
מוסמכים (35 סטודנטים כחולים, 15 תלמידים כתומים) מוצללים בירוק,
ואת קבוצת המשנה של הסטודנטים שעומדים בדרישות שנדחו (19 תלמידים כחולים,
11 תלמידים כתומים) מסומנים ב-X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=0000&hl=he)
בטבלה הבאה מוצגים הערכים של מספרי הטלפון שתומכים למילות מפתח שנדחו ואושרו המועמדים השונים, כפי שמתואר באיור 3.
קבוצת רוב | קבוצת מיעוט | |||
---|---|---|---|---|
אושרו | נדחה | אושרו | נדחה | |
עומד בדרישות | 16 | 19 | 4 | 11 |
לא כשיר | 0 | 45 | 0 | 5 |
בואו נערוך טבלה של שיעורי הקבלה לתלמידים שעומדים בדרישות בשתי הקבוצות:
למרות ששיעור ההצטרפות הכולל של שתי הקבוצות הוא 20%, שוויון דמוגרפי, שיעור הקבלה בקרב סטודנטים בהיקף מתאים של 46%, ואילו שיעור הקבלה לסטודנטים למיעוטים מתאימים הוא 27% בלבד.
במקרים כאלה, שבהם ההתפלגות של תווית מועדפת (למשל "כשיר") משתנה במידה רבה עבור שתי הקבוצות, שוויון דמוגרפי עשוי הוא לא המדד האופטימלי לבדיקה של מידת ההוגנות. ב נסתכל על מדד חלופי של הוגנות, שוויון הזדמנויות, שמביא בחשבון את ההבדלים האלה.