התאמת יתר: פירוש של עקומות הפסד

למידת מכונה הייתה הרבה יותר פשוטה אם עקומות הפסד כך נראה כך בפעם הראשונה שאימנתם את המודל:

איור 20. תרשים שמציג את עקומת ההפסד האידאלית כאשר אימון מודל למידת מכונה. עקומת אובדן הנתונים מייצגת הפסד על ציר ה-Y מול מספר שלבי האימון על ציר ה-X. בתור המספר של שלבי האימון, עליות, ההפסדים מתחילים גבוה ואז יורדים באופן אקספוננציאלי, ובסופו של דבר משתנה כדי להגיע .
איור 20. עקומת הפסד אידיאלית.

לצערנו, קשה בדרך כלל לפרש את עקומות אובדן הנתונים. שימוש ב של עקומות אובדן כדי לפתור את התרגילים בדף הזה.

תרגיל 1: עקומת הפסדים מתנדנדת

איור 21. עקומת הפסד (ירידה על ציר ה-Y, מספר האימון על ציר ה-X), שבהם האובדן לא מתשטח. במקום זאת, האובדן מתנועע באופן לא סדיר.
איור 21. עקומת הפסדים דו-כיוונית.
אילו שלוש פעולות אפשר לעשות כדי לנסות לשפר את עקומת האובדן שמוצגת באיור 21.
לבדוק את הנתונים שלכם מול סכימת נתונים כדי לזהות דוגמאות שגויות, וגם ואז להסיר את הדוגמאות הגרועות מקבוצת האימון.
כן, שיטה זו מומלצת לכל המודלים.
הפחתת קצב הלמידה.
כן, הפחתת קצב הלמידה היא בדרך כלל רעיון טוב לניפוי באגים בעיית אימון.
כדאי לצמצם את מספר האימון לדוגמאות מהימנות.
למרות שהשיטה הזו נשמעת מלאכותית, היא כרעיון ראשי. בהנחה שהמודל מתכנס לקבוצה הקטנה של אפשר להוסיף עוד דוגמאות בהדרגה, אולי לגלות אילו דוגמאות גורמות לעקומת אובדן לתנודה.
כדאי להגדיל את מספר הדוגמאות בערכת האימון.
זה רעיון מפתה, אבל קשה מאוד לפתור את הבעיה את הבעיה.
להגביר את קצב הלמידה.
באופן כללי, לא כדאי להגביר את קצב הלמידה כשהמודל עקומת הלמידה מצביעה על בעיה.

תרגיל 2. עקומת הפסדים עם קפיצה חדה

איור 22. תרשים של עקומת הפסד שמציג ירידה של עד מספר מסוים של שלבי אימון ואז עלייה פתאומית שכוללים שלבי אימון נוספים.
איור 22. עלייה חדה בהפסדים.
אילו שתי מההצהרות הבאות מזהות אפשרויות סיבות לאובדן הפיצוץ שמוצג באיור 22.
נתוני הקלט מכילים מספר NaN אחד או יותר – לדוגמה, נגרמה על ידי חילוק באפס.
התופעה הזו נפוצה יותר מהצפוי.
נתוני הקלט מכילים רצף של חריגים חשודי טעות.
לפעמים, עקב ערבוב לא תקין של קבוצות קבצים, ייתכן שאצווה מכילים הרבה חריגים.
קצב הלמידה נמוך מדי.
קצב למידה נמוך מאוד עשוי להאריך את זמן האימון, אבל לא הסיבה לעקומת האובדן המוזרה.
שיעור הרגולריזציה גבוה מדי.
נכון, רמה גבוהה מאוד של התאמה לשוק (regularization) עלולה למנוע מהמודל converging; עם זאת, זה לא יגרום לעקומת אובדן מוזרה שמוצגת באיור 22.

תרגיל 3. המשמעות של אובדן הבחינה בגלל אובדן האימון,

איור 23. נראה שעקומת אובדן האימון מתגבשת, אובדן אימות מתחיל לעלות אחרי מספר מסוים של אימון לבצע מיליון שלבים.
איור 23. עלייה חדה באובדן האימות.
איזה אחת מההצהרות הבאות מזהה בצורה הטובה ביותר את להבדל בין עקומות ההפסד של האימון. ואת קבוצות הבדיקה?
המודל מתאים מדי לערכת האימון.
כן, סביר להניח שהיא לא אמיתית. פתרונות אפשריים:
  • לפשט את המודל, כנראה על ידי הקטנת המספר של פיצ'רים.
  • מגדילים את שיעור הרגולריזציה.
  • מוודאים שמערכת האימון וערכת הבדיקה הן סטטיסטיות מקביל.
קצב הלמידה גבוה מדי.
אם קצב הלמידה גבוה מדי, אז עקומת ההפסד בקבוצת האימון. סביר להניח שהוא לא היה מתנהג כמו שהוא התנהג.

תרגיל 4. עקומת אובדן נתונים נתקעת

איור 24. תרשים של עקומת הפסד שמציג את האובדן שמתחיל עד יחד עם אימון, אבל אחר כך מציגים דפוסים שחוזרים על עצמם נראות כמו גל מלבני.
איור 24. אובדן כאוטי אחרי מספר מסוים של שלבים.
איזו אחת מההצהרות הבאות היא בעלת הסבירות הגבוהה ביותר הסבר על עקומת האובדן היציבה שמוצגת באיור 24?
ערכת האימון מכילה רצפים של דוגמאות שחוזרות על עצמן.
זו אפשרות. חשוב לוודא שהדוגמאות בסדר אקראי במידה מספקת.
שיעור הרגולריזציה גבוה מדי.
לא סביר להניח שזו הסיבה.
ערכת האימון מכילה יותר מדי תכונות.
לא סביר להניח שזו הסיבה.
הקודם
סטנדרטיזציה של L2 (10 דקות)
הבא
בוחנים את הידע (10 דקות)