ML Practicum: סיווג תמונות

מניעת התאמת יתר (overfitting)

כמו בכל מודל של למידת מכונה, אחת מהבעיות העיקריות באימון רשת עצבית קונבולוציונית היא התאמה יתר: מודל שמותאם באופן כה מדויק לפרטים הספציפיים של נתוני האימון, עד שהוא לא מסוגל להכליל דוגמאות חדשות. שתי שיטות למניעת התאמה יתר בזמן בניית רשת CNN הן:

• הגדלת נפח הנתונים: הגדלת המגוון ומספר הדוגמאות לאימון באופן מלאכותי על ידי ביצוע טרנספורמציות אקראיות לתמונות קיימות כדי ליצור קבוצה של וריאציות חדשות (ראו איור 7). הגדלת נפח הנתונים שימושית במיוחד כשקבוצת נתוני האימון המקורית קטנה יחסית.
• Dropout regularization: הסרה אקראית של יחידות מרשת העצבים במהלך שלב אימון של שיפוע.

מידע נוסף על רגולריזציה של נשירת נוירונים זמין במאמר אימון רשתות עצביות באמצעות Backpropagation בקורס המקוצר על למידת מכונה.

איור 7. הגדלת נפח הנתונים בתמונה אחת של כלב (קטע ממערך הנתונים 'כלבים מול חתולים' שזמין ב-Kaggle). שמאל: תמונה מקורית של כלב מתוך קבוצת האימון. ימין: תשע תמונות חדשות שנוצרו מהתמונה המקורית באמצעות טרנספורמציות אקראיות.

הבעיה של התאמה יתר חמורה יותר כשעובדים עם קבוצות קטנות יותר של נתוני אימון. כשעובדיםעם מערכי נתונים גדולים (למשל, מיליוני תמונות),אין צורך להשתמש ב-dropout, והערך של הגדלת הנתונים פוחת גם כן.

מונחי מפתח

הרחבת נתונים	Dropout regularization
התאמה יתר