כשאתם מכינים את הנתונים לאימון ולבדיקה של המודל, חשוב לשים לב לבעיות של הוגנות ולבדוק אם יש מקורות פוטנציאליים של הטיה, כדי שתוכלו לצמצם באופן יזום את ההשפעות שלהן לפני שתפעילו את המודל בסביבת הייצור.
איפה יכולות להיות הטיות? ריכזנו כאן כמה נורות אדומות שכדאי לחפש במערך הנתונים.
ערכים חסרים של מאפיינים
אם במערך הנתונים יש מאפיין אחד או יותר שחסרים להם ערכים במספר גדול של דוגמאות, יכול להיות שזה סימן לכך שמאפיינים מרכזיים מסוימים של מערך הנתונים לא מיוצגים מספיק.
תרגיל: בדקו את ההבנה שלכם
אתם מגלים של-1,500 מתוך 5,000 הדוגמאות בקבוצת האימון חסרים ערכים של מזג. אילו מהגורמים הבאים הם מקורות פוטנציאליים של הטיה שצריך לבדוק?
ערכים לא צפויים של תכונות
כשבודקים את הנתונים, כדאי גם לחפש דוגמאות שמכילות ערכים של מאפיינים ששונים במיוחד מהמאפיינים הרגילים או מהמאפיינים הרגילים האחרים. ערכים בלתי צפויים של המאפיינים האלה עשויים להצביע על בעיות שהתרחשו במהלך איסוף הנתונים או על אי-דיוקים אחרים שעשויים להוביל לשגיאות.
תרגיל: בדקו את ההבנה שלכם
כדאי לעיין בדוגמאות ההיפותטיות הבאות לאימון מודל של התאמה לאימוץ של כלבים מכלבייה.
| גזע | גיל (שנים) | משקל (פאונד) | מזג | shedding_level |
|---|---|---|---|---|
| פודל צעצוע | 2 | 12 | רגזני | נמוך |
| גולדן רטריבר | 7 | 65 | שלווה | גבוה |
| לברדור רטריבר | 35 | 73 | שלווה | גבוה |
| בולדוג צרפתי | 0.5 | 11 | רגוע | בינונית |
| כלב מעורב לא ידוע | 4 | 45 | מרגש | גבוה |
| באסט האונד | 9 | 48 | שלווה | בינונית |
| גזע | גיל (שנים) | משקל (פאונד) | מזג | shedding_level |
|---|---|---|---|---|
| פודל צעצוע | 2 | 12 | רגזני | נמוך |
| גולדן רטריבר | 7 | 65 | שלווה | גבוה |
| לברדור רטריבר | 35 | 73 | שלווה | גבוה |
| בולדוג צרפתי | 0.5 | 11 | רגוע | בינונית |
| כלב מעורב לא ידוע | 4 | 45 | מרגש | גבוה |
| באסט האונד | 9 | 48 | שלווה | בינונית |
הכלב המבוגר ביותר שגילו אומת על ידי ספר השיאים של גינס היה Bluey, כלב מסוג אוסטרלי קנאי שחי עד גיל 29 שנים ו-5 חודשים. בהתחשב בעובדה, נראה שהלברדור רטריבר הוא למעשה בן 35, ויש סבירות גבוהה יותר שגילו של הכלב חושב או תועד באופן לא מדויק (אולי הוא בעצם בן 3.5). השגיאה הזו יכולה להעיד גם על בעיות דיוק רחבות יותר בנתוני הגיל במערך הנתונים שמצריכות בדיקה נוספת.
הטיה בנתונים
כל סוג של הטיה בנתונים, שבו קבוצות או מאפיינים מסוימים מיוצגים בצורה לא פרופורציונלית בהשוואה לשכיחות שלהם בעולם האמיתי, עלול להטות את המודל.
כשבודקים את ביצועי המודל, חשוב לא רק לבחון את התוצאות באופן מצטבר, אלא גם לפלח את התוצאות לפי קבוצות משנה. לדוגמה, במקרה של המודל שלנו לאימוץ כלבי הצלה, כדי לשמור על הוגנות, זה לא מספיק רק לבדוק את הדיוק הכולל. אנחנו צריכים גם לבדוק את הביצועים לפי תת-קבוצות, כדי לוודא שהמודל מניב ביצועים דומים לכל גזע של כלבים, קבוצת גיל וקבוצת גדלים.
בהמשך המודול, בקטע בדיקת מודל לזיהוי הטיה, נבחן לעומק שיטות שונות לבדיקת מודלים לפי קבוצות משנה.