המודול הזה מתמקד בדרישות המיוחדות למודלים שנלמדו על וקטורים של תכונות שיש להם מאפיינים רבים.
סדירות להשגת גמישות
נחזור לכל התכונות
- הערה חשובה: אם יש פחות תכונות, ייתכן שהן יגדילו משמעותית את השטח של התכונה
- בעיות אפשריות:
- גודל הדגם (RAM) עשוי להפוך לענק
- מקדמי "רעש" (גורם להתאמת יתר)
רמה1 סדירה
- רוצה להעניש את נורמת המשקולות L0
- אופטימיזציה שאינה קמורה; NP-HD
רמה1 סדירה
- רוצה להעניש את נורמת המשקולות L0
- אופטימיזציה שאינה קמורה; NP-HD
- הרגולטוריזציה של L1:
- עונש סכום של AB(משקלים)
- בעיה קמורה
- מעודדים צמצום שלא כמו L2