למידת המכונה הייתה הרבה יותר פשוטה אם כל עקומות ההפסד היו נראות כך בפעם הראשונה שאתם מארגנים את המודל:
לצערנו, לעיתים קרובות קשה לפרש את עקומות ההפסדים. השתמשו בתחושות שלכם לגבי עקומות אובדן כדי לפתור את התרגילים בדף הזה.
תרגיל 1: עקומת אובדן תנודתית
מהן שלוש הפעולות שאפשר לבצע כדי לשפר את עקומת ההפסדים שמוצגת באיור 21?
בודקים את הנתונים מול סכימה של נתונים כדי לזהות דוגמאות לא טובות, ואז מסירים את הדוגמאות הלא טובות מקבוצת האימון.
כן, מומלץ לעשות זאת בכל המודלים.
להפחית את קצב הלמידה.
כן, בדרך כלל מומלץ להקטין את קצב הלמידה כשמנסים לנפות באגים בבעיה באימון.
צמצום קבוצת האימון למספר קטן של דוגמאות מהימנות.
השיטה הזו אולי נשמעת מלאכותית, אבל היא למעשה רעיון טוב. בהנחה שהמודל מתכנס לקבוצה הקטנה של דוגמאות מהימנות, תוכלו להוסיף בהדרגה דוגמאות נוספות, ואולי לגלות אילו דוגמאות גורמות לתנודות בגרף ההפסד.
להגדיל את מספר הדוגמאות בקבוצת האימון.
זהו רעיון מפתה, אבל סביר מאוד שהוא לא יפתור את הבעיה.
להגביר את קצב הלמידה.
באופן כללי, מומלץ להימנע מהגדלת קצב הלמידה כשהקו של עקומת הלמידה של המודל מציין בעיה.
תרגיל 2. עקומת אובדן עם קפיצה חדה
שתי ההצהרות הבאות מזהות סיבות אפשריות לירידה החדה מוצגת באיור 22.
נתוני הקלט מכילים ערך NaN אחד או יותר – לדוגמה, ערך שנגרם כתוצאה מחלוקה באפס.
התופעה הזו נפוצה יותר ממה שאתם חושבים.
נתוני הקלט מכילים מספר רב של ערכים חריגים.
לפעמים, בגלל ערבוב לא תקין של קבוצות, קבוצה יכולה לכלול הרבה ערכים חריגים.
קצב הלמידה נמוך מדי.
שיעור למידה נמוך מאוד עשוי להאריך את זמן האימון, אבל הוא לא הגורם לעלייה החריגה בגרף ההפסד.
שיעור הרגולריזציה גבוה מדי.
אמנם, רגולריזציה גבוהה מאוד עשויה למנוע מהמודל להגיע לערעור, אבל היא לא תגרום לעלייה המוזרה בגרף האובדן שמוצג באיור 22.
תרגיל 3. אובדן הבדיקה שונה מאובדן האימון
איזה מהמשפטים הבאים מזהה בצורה הטובה ביותר את הסיבה להבדל הזה בין עקומות האובדן של קבוצות האימון והבדיקה?
המודל מתאים את עצמו יתר על המידה לקבוצת האימון.
כן, סביר להניח שהיא לא אמיתית. פתרונות אפשריים:
- לפשט את המודל, אולי על ידי צמצום מספר המאפיינים.
- הגדלת שיעור הרגולריזציה.
- מוודאים שקבוצת האימון וקבוצת הבדיקה זהות מבחינה סטטיסטית.
קצב הלמידה גבוה מדי.
אם קצב הלמידה היה גבוה מדי, סביר להניח שעקומת האובדן של קבוצת האימון לא הייתה מתנהגת כפי שהיא מתנהגת.
תרגיל 4. עקומת ההפסדים נתקעת
איזה משפט מהמשפטים הבאים הוא ההסבר הסביר ביותר לעלייה הלא סדירה בגרף ההפסדים שמוצג באיור 24?
קבוצת האימון מכילה רצפים חוזרים של דוגמאות.
זו אפשרות. חשוב לוודא שמשנים את הסדר של הדוגמאות בצורה מספקת.
שיעור הרגולריזציה גבוה מדי.
סביר להניח שזו לא הסיבה.
קבוצת האימון מכילה יותר מדי מאפיינים.
סביר להניח שזו לא הסיבה.