בדיקת הרגולריזציה L1
תרגיל זה מכיל מערך נתונים קטן וקצת רועשת, לאימון. בהקשר כזה, התאמת יתר היא בעיה ממשית. רגולטור יכול לעזור, אבל איזו צורת רגולציה?
תרגיל זה מורכב מחמש משימות קשורות. כדי לפשט את ההשוואות בין חמש המשימות, מריצים כל משימה בכרטיסייה נפרדת. שימו לב שהעובי של הקווים שמחברים בין FEATURES ל-OUTPUT מייצגים את המשקולות היחסיות של כל תכונה.
| משימה | סוג הרשאה | שיעור רגולרי (lambda) |
|---|---|---|
| 1 | L2 | 0.1 |
| 2 | L2 | 0.3 |
| 3 | L1 | 0.1 |
| 4 | L1 | 0.3 |
| 5 | L1 | ניסוי |
שאלות:
- איך המעבר מרגולציית L2 ל-L1 משפיע על ההפרשים בין אובדן בחינות לאובדן אימון?
- איך המעבר מרגולציית L2 ל-L1 משפיע על המשקולות שנלמדו?
- איך הגדלת שיעור הרגולציה של L1 (lambda) משפיעה על המשקולות שנלמדו?
(התשובות מופיעות מתחת לתרגיל).