ניקח לדוגמה את עקומת ההכללה הבאה, שבה רואים את ההפסד של קבוצת האימון וגם של קבוצת האימות ביחס למספר החזרות האימון.
איור 1. אובדן על קבוצת אימון וקבוצת אימות.
באיור 1 מוצג מודל שבו אובדן האימון יורד בהדרגה, אבל בסופו של דבר אובדן האימות עולה. במילים אחרות, עקומת ההכללה הזו מראה שהמודל מבצע התאמה יתר לנתונים בקבוצת האימון. על ידי חיזוק ה-Ockham הפנימית, אולי נוכל למנוע התאמה יתר על ידי ענישה על מודלים מורכבים, שנקראים התאמה.
במילים אחרות, במקום לנסות למזער אובדן (הפחתה אמפירית של סיכון):
עכשיו נצמצם את אובדן ומורכבות, שנקרא מזעור סיכון מבני:
אלגוריתם האופטימיזציה של האימון פועל עכשיו כפונקציה של שני מונחים: המונח loss, שמודד את מידת ההתאמה של המודל לנתונים, ומונח הרגולקציה, שמודד את מורכבות המודל.
קורס הקריסה ללמידת מכונה מתמקד בשתי דרכים נפוצות (וקשורות קצת) לחשיבה על מורכבות המודלים:
- מורכבות המודל כפונקציה של המשקלים של כל התכונות במודל.
- מורכבות המודל כפונקציה של מספר התכונות הכולל עם משקולות שאינן אפס. (מודול מאוחר יותר עוסק בגישה הזו).
אם מורכבות המודל היא פונקציה של משקלים, משקל תכונה עם ערך מוחלט גבוה הוא מורכב יותר ממשקל תכונה עם ערך מוחלט נמוך.
אנחנו יכולים לכמת את המורכבות באמצעות הנוסחה הרגולטורית L2, שמגדירה את מונח הרגולציה כסכום הריבועים של כל משקלי התכונות:
בנוסחה הזו, למשקלים הקרובים לאפס יש השפעה מועטה על מורכבות המודל, בעוד שלמשקלים חריגים יכולה להיות השפעה עצומה.
לדוגמה, מודל לינארי עם המשקולות הבאות:
בתנאי הרגולטוריות של L2 הוא 26.915:
אבל \(w_3\) (מודגש למעלה), בריבוע ערך של 25, מדובר כמעט בכל המורכבות. סכום הריבועים של כל חמשת המשקלים האחרים מוסיף רק 1.915 למונח הרגולרי L2.