למידת המכונה הייתה הרבה יותר פשוטה אם כל עקומות ההפסד היו נראות כך בפעם הראשונה שאתם מארגנים את המודל:
איור 20. עקומת אובדן אידיאלית.
לצערנו, לעיתים קרובות קשה לפרש את עקומות ההפסדים. השתמשו בתחושות שלכם לגבי עקומות אובדן כדי לפתור את התרגילים בדף הזה.
תרגיל 1: עקומת אובדן תנודתית
איור 21. עקומת אובדן תנודתית.
מהן שלוש הפעולות שאפשר לבצע כדי לשפר את עקומת ההפסדים שמוצגת באיור 21?
להגדיל את מספר הדוגמאות בקבוצת האימון.
זהו רעיון מפתה, אבל סביר מאוד שהוא לא יפתור את הבעיה.
צמצום קבוצת האימון למספר קטן של דוגמאות מהימנות.
השיטה הזו אולי נשמעת מלאכותית, אבל היא למעשה רעיון טוב. בהנחה שהמודל מתכנס לקבוצה הקטנה של דוגמאות מהימנות, תוכלו להוסיף בהדרגה דוגמאות נוספות, ואולי לגלות אילו דוגמאות גורמות לתנודות בגרף ההפסד.
להגביר את קצב הלמידה.
באופן כללי, מומלץ להימנע מהגדלת קצב הלמידה כשהקו של עקומת הלמידה של המודל מציין בעיה.
להפחית את קצב הלמידה.
כן, בדרך כלל מומלץ להקטין את קצב הלמידה כשמנסים לנפות באגים בבעיה באימון.
בודקים את הנתונים מול סכימה של נתונים כדי לזהות דוגמאות לא טובות, ואז מסירים את הדוגמאות הלא טובות מקבוצת האימון.
כן, מומלץ לעשות זאת בכל המודלים.
תרגיל 2. עקומת אובדן עם קפיצה חדה
איור 22. עלייה חדה באובדן.
שתי ההצהרות הבאות מזהות סיבות אפשריות לירידה החדה מוצגת באיור 22.
קצב הלמידה נמוך מדי.
שיעור למידה נמוך מאוד עשוי להאריך את זמן האימון, אבל הוא לא הגורם לעלייה החריגה בגרף ההפסד.
שיעור הרגולריזציה גבוה מדי.
אמנם, רגולריזציה גבוהה מאוד עשויה למנוע מהמודל להגיע לערעור, אבל היא לא תגרום לעלייה המוזרה בגרף האובדן שמוצג באיור 22.
נתוני הקלט מכילים מספר רב של ערכים חריגים.
לפעמים, בגלל ערבוב לא תקין של קבוצות, קבוצה יכולה לכלול הרבה ערכים חריגים.
נתוני הקלט מכילים ערך NaN אחד או יותר – לדוגמה, ערך שנגרם כתוצאה מחלוקה באפס.
התופעה הזו נפוצה יותר ממה שאתם חושבים.
תרגיל 3. אובדן הבדיקה שונה מאובדן האימון
איור 23. עלייה חדה באובדן מהאימות.
איזה מהמשפטים הבאים מזהה בצורה הטובה ביותר את הסיבה להבדל הזה בין עקומות האובדן של קבוצות האימון והבדיקה?
קצב הלמידה גבוה מדי.
אם קצב הלמידה היה גבוה מדי, סביר להניח שעקומת האובדן של קבוצת האימון לא הייתה מתנהגת כפי שהיא מתנהגת.
המודל מתאים את עצמו יתר על המידה לקבוצת האימון.
כן, סביר להניח שהיא לא אמיתית. פתרונות אפשריים:
לפשט את המודל, אולי על ידי צמצום מספר המאפיינים.
הגדלת שיעור הרגולריזציה.
מוודאים שקבוצת האימון וקבוצת הבדיקה זהות מבחינה סטטיסטית.
תרגיל 4. עקומת ההפסדים נתקעת
איור 24. אובדן אקראי אחרי מספר מסוים של שלבים.
איזה משפט מהמשפטים הבאים הוא ההסבר הסביר ביותר לעלייה הלא סדירה בגרף ההפסדים שמוצג באיור 24?
קבוצת האימון מכילה רצפים חוזרים של דוגמאות.
זו אפשרות. חשוב לוודא שמשנים את הסדר של הדוגמאות בצורה מספקת.
[null,null,["עדכון אחרון: 2024-11-14 (שעון UTC)."],[[["This document helps you understand and interpret Machine Learning loss curves through a series of exercises and visual examples."],["You will learn how to identify common issues like oscillating loss, exploding loss, overfitting, and erratic behavior in your models."],["Solutions are provided for each exercise, along with explanations for various loss curve patterns."],["Techniques to address these issues are discussed, including adjusting learning rate, cleaning training data, and applying regularization."],["A glossary of key Machine Learning terminology related to loss curves and model training is included for quick reference."]]],[]]