התאמת יתר: פירוש של עקומות הפסד

למידת המכונה הייתה הרבה יותר פשוטה אם כל עקומות ההפסד היו נראות כך בפעם הראשונה שאתם מארגנים את המודל:

איור 20. תרשים שבו מוצגת עקומת האובדן האידיאלית במהלך אימון של מודל למידת מכונה. בעקומת ההפסד מוצג ההפסד בציר y לעומת מספר שלבי האימון בציר x. ככל שמספר שלבי האימון גדל, ההפסד מתחיל גבוה, ואז יורד באופן מעריכי, ובסופו של דבר מתיישר עד שמגיע להפסד מינימלי.
איור 20. עקומת אובדן אידיאלית.

לצערנו, לעיתים קרובות קשה לפרש את עקומות ההפסדים. השתמשו בתחושות שלכם לגבי עקומות אובדן כדי לפתור את התרגילים בדף הזה.

תרגיל 1: עקומת אובדן תנודתית

איור 21. עקומת אובדן (אובדן בציר y, מספר שלבי האימון בציר x) שבה האובדן לא שטוח.
            במקום זאת, ההפסד תנודתי באופן לא סדיר.
איור 21. עקומת אובדן תנודתית.
מהן שלוש הפעולות שאפשר לבצע כדי לשפר את עקומת ההפסדים שמוצגת באיור 21?
בודקים את הנתונים מול סכימה של נתונים כדי לזהות דוגמאות לא טובות, ואז מסירים את הדוגמאות הלא טובות מקבוצת האימון.
כן, מומלץ לעשות זאת בכל המודלים.
להפחית את קצב הלמידה.
כן, בדרך כלל מומלץ להקטין את קצב הלמידה כשמנסים לנפות באגים בבעיה באימון.
צמצום קבוצת האימון למספר קטן של דוגמאות מהימנות.
השיטה הזו אולי נשמעת מלאכותית, אבל היא למעשה רעיון טוב. בהנחה שהמודל מתכנס לקבוצה הקטנה של דוגמאות מהימנות, תוכלו להוסיף בהדרגה דוגמאות נוספות, ואולי לגלות אילו דוגמאות גורמות לתנודות בגרף ההפסד.
להגדיל את מספר הדוגמאות בקבוצת האימון.
זהו רעיון מפתה, אבל סביר מאוד שהוא לא יפתור את הבעיה.
להגביר את קצב הלמידה.
באופן כללי, מומלץ להימנע מהגדלת קצב הלמידה כשהקו של עקומת הלמידה של המודל מציין בעיה.

תרגיל 2. עקומת אובדן עם קפיצה חדה

איור 22. תרשים של עקומת אובדן שבו מוצג ירידה של האובדן עד למספר מסוים של שלבי אימון, ולאחר מכן עלייה פתאומית עם שלבי אימון נוספים.
איור 22. עלייה חדה באובדן.
שתי ההצהרות הבאות מזהות סיבות אפשריות לירידה החדה מוצגת באיור 22.
נתוני הקלט מכילים ערך NaN אחד או יותר – לדוגמה, ערך שנגרם כתוצאה מחלוקה באפס.
התופעה הזו נפוצה יותר ממה שאתם חושבים.
נתוני הקלט מכילים מספר רב של ערכים חריגים.
לפעמים, בגלל ערבוב לא תקין של קבוצות, קבוצה יכולה לכלול הרבה ערכים חריגים.
קצב הלמידה נמוך מדי.
שיעור למידה נמוך מאוד עשוי להאריך את זמן האימון, אבל הוא לא הגורם לעלייה החריגה בגרף ההפסד.
שיעור הרגולריזציה גבוה מדי.
אמנם, רגולריזציה גבוהה מאוד עשויה למנוע מהמודל להגיע לערעור, אבל היא לא תגרום לעלייה המוזרה בגרף האובדן שמוצג באיור 22.

תרגיל 3. אובדן הבדיקה שונה מאובדן האימון

איור 23. נראה שגרף אובדן האימון מתכנס, אבל אובדן האימות מתחיל לעלות אחרי מספר מסוים של שלבי אימון.
איור 23. עלייה חדה באובדן מהאימות.
איזה מהמשפטים הבאים מזהה בצורה הטובה ביותר את הסיבה להבדל הזה בין עקומות האובדן של קבוצות האימון והבדיקה?
המודל מתאים את עצמו יתר על המידה לקבוצת האימון.
כן, סביר להניח שהיא לא אמיתית. פתרונות אפשריים:
  • לפשט את המודל, אולי על ידי צמצום מספר המאפיינים.
  • הגדלת שיעור הרגולריזציה.
  • מוודאים שקבוצת האימון וקבוצת הבדיקה זהות מבחינה סטטיסטית.
קצב הלמידה גבוה מדי.
אם קצב הלמידה היה גבוה מדי, סביר להניח שעקומת האובדן של קבוצת האימון לא הייתה מתנהגת כפי שהיא מתנהגת.

תרגיל 4. עקומת ההפסדים נתקעת

איור 24. תרשים של עקומת אובדן שבו מוצג שהאובדן מתחיל להתכנס עם האימון, אבל לאחר מכן מוצגים דפוסים חוזרים שנראים כמו גל מלבני.
איור 24. אובדן אקראי אחרי מספר מסוים של שלבים.
איזה משפט מהמשפטים הבאים הוא ההסבר הסביר ביותר לעלייה הלא סדירה בגרף ההפסדים שמוצג באיור 24?
קבוצת האימון מכילה רצפים חוזרים של דוגמאות.
זו אפשרות. חשוב לוודא שמשנים את הסדר של הדוגמאות בצורה מספקת.
שיעור הרגולריזציה גבוה מדי.
סביר להניח שזו לא הסיבה.
קבוצת האימון מכילה יותר מדי מאפיינים.
סביר להניח שזו לא הסיבה.