تنظيم البساطة

وتعني التسوية فرض عقوبات على مدى تعقيد النموذج لتقليل فرط التخصيص.

التسوية من أجل البساطة

تنخفض دالة الخسارة في مجموعة التدريب تدريجيًا. وعلى النقيض من ذلك، تنخفض دالة الخسارة لمجموعة التحقق من الصحة، ولكنها تبدأ في الارتفاع بعد ذلك.
  • نريد تجنُّب تعقيد النموذج قدر الإمكان.
  • يمكننا دمج هذه الفكرة في عملية التحسين التي نجريها في وقت التدريب.
  • الحد التجريبي من المخاطر:
    • ويهدف إلى خطأ التدريب المنخفض

      • $$ \text{minimize: } Loss(Data\;|\;Model) $$

  • نريد تجنُّب تعقيد النموذج قدر الإمكان.
  • يمكننا دمج هذه الفكرة في عملية التحسين التي نجريها في وقت التدريب.
  • تقليل المخاطر الهيكلية:
    • ويهدف إلى خطأ التدريب المنخفض
    • مع تحقيق التوازن بين مقابل التعقيد

      • $$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$

  • كيفية تحديد التعقيد(النموذج)؟
  • كيفية تحديد التعقيد(النموذج)؟
  • تفضيل الأوزان الأصغر
  • كيفية تحديد التعقيد(النموذج)؟
  • تفضيل الأوزان الأصغر
  • يجب أن تتحمّل تكلفة إضافية
  • يمكن ترميز هذه الفكرة من خلال L2 التنظيم (المعروف أيضًا باسم سلسلة خطوط).
    • complexity(model) = مجموع مربّعات الأوزان
    • يعاقب الأوزان الكبيرة
    • بالنسبة إلى النماذج الخطية: تفضل المنحدرات الأكثر انسيابية
    • بايز السابق:
      • يجب أن تتمحور الأوزان حول الصفر
      • توزيع الأوزان بشكل طبيعي

$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$

\(\text{Where:}\)

\(Loss\text{: Aims for low training error}\) \(\lambda\text{: Scalar value that controls how weights are balanced}\) \(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)

السابق
تمرين في منطقة اللعب: التجاوز
التالي
تنظيم L2