התאמת יתר: פירוש של עקומות הפסד

למידת המכונה הייתה הרבה יותר פשוטה אם כל עקומות ההפסד היו נראות כך בפעם הראשונה שאתם מארגנים את המודל:

איור 20. תרשים שבו מוצגת עקומת האובדן האידיאלית במהלך אימון של מודל למידת מכונה. בעקומת ההפסד מוצג ההפסד בציר y לעומת מספר שלבי האימון בציר x. ככל שמספר שלבי האימון גדל, ההפסד מתחיל גבוה, ואז יורד באופן מעריכי, ובסופו של דבר מתיישר עד שמגיע להפסד מינימלי.
איור 20. עקומת אובדן אידיאלית.

לצערנו, לעיתים קרובות קשה לפרש את עקומות ההפסדים. השתמשו בתחושות שלכם לגבי עקומות אובדן כדי לפתור את התרגילים בדף הזה.

תרגיל 1: עקומת אובדן תנודתית

איור 21. עקומת אובדן (אובדן בציר y, מספר שלבי האימון בציר x) שבה האובדן לא שטוח.
            במקום זאת, ההפסד תנודתי באופן לא סדיר.
איור 21. עקומת אובדן תנודתית.
מהן שלוש הפעולות שאפשר לבצע כדי לשפר את עקומת ההפסדים שמוצגת באיור 21?
להגדיל את מספר הדוגמאות בקבוצת האימון.
צמצום קבוצת האימון למספר קטן של דוגמאות מהימנות.
להגביר את קצב הלמידה.
להפחית את קצב הלמידה.
בודקים את הנתונים מול סכימה של נתונים כדי לזהות דוגמאות לא טובות, ואז מסירים את הדוגמאות הלא טובות מקבוצת האימון.

תרגיל 2. עקומת אובדן עם קפיצה חדה

איור 22. תרשים של עקומת אובדן שבו מוצג ירידה של האובדן עד למספר מסוים של שלבי אימון, ולאחר מכן עלייה פתאומית עם שלבי אימון נוספים.
איור 22. עלייה חדה באובדן.
שתי ההצהרות הבאות מזהות סיבות אפשריות לירידה החדה מוצגת באיור 22.
קצב הלמידה נמוך מדי.
שיעור הרגולריזציה גבוה מדי.
נתוני הקלט מכילים מספר רב של ערכים חריגים.
נתוני הקלט מכילים ערך NaN אחד או יותר – לדוגמה, ערך שנגרם כתוצאה מחלוקה באפס.

תרגיל 3. אובדן הבדיקה שונה מאובדן האימון

איור 23. נראה שגרף אובדן האימון מתכנס, אבל אובדן האימות מתחיל לעלות אחרי מספר מסוים של שלבי אימון.
איור 23. עלייה חדה באובדן מהאימות.
איזה מהמשפטים הבאים מזהה בצורה הטובה ביותר את הסיבה להבדל הזה בין עקומות האובדן של קבוצות האימון והבדיקה?
קצב הלמידה גבוה מדי.
המודל מתאים את עצמו יתר על המידה לקבוצת האימון.

תרגיל 4. עקומת ההפסדים נתקעת

איור 24. תרשים של עקומת אובדן שבו מוצג שהאובדן מתחיל להתכנס עם האימון, אבל לאחר מכן מוצגים דפוסים חוזרים שנראים כמו גל מלבני.
איור 24. אובדן אקראי אחרי מספר מסוים של שלבים.
איזה משפט מהמשפטים הבאים הוא ההסבר הסביר ביותר לעלייה הלא סדירה בגרף ההפסדים שמוצג באיור 24?
קבוצת האימון מכילה רצפים חוזרים של דוגמאות.
קבוצת האימון מכילה יותר מדי מאפיינים.
שיעור הרגולריזציה גבוה מדי.