L2 تسوية هو مقياس تسوية شائع يستخدم الصيغة التالية:
على سبيل المثال، يعرض الجدول التالي طريقة احتساب L2. تسوية نموذج ذي ستة ترجيحات:
| القيمة | قيمة تربيعية | |
|---|---|---|
| مع 1 | 0.2 | 0.04 |
| مع 2 | -0.5 | 0.25 |
| مع 3 | 5 | 25.0 |
| 4 | 1.2- | 1.44 |
| مع 5 | 0.3 | 0.09 |
| مع 6 | -0.1 | 0.01 |
| 26.83 = الإجمالي |
لاحظ أنّ القيم التقديرية القريبة من الصفر لا تؤثر في تسوية L2. الكثير، لكن الأوزان الكبيرة يمكن أن يكون لها تأثير كبير. على سبيل المثال، في العنصر العملية الحسابية السابقة:
- يساهم الوزن الواحد (w3) بنسبة% 93 تقريبًا من التعقيد الكلي.
- وتساهم الأوزان الخمسة الأخرى مجتمعة في حوالي 7% من التعقيد الكلي.
يشجِّع تسوية المستوى 2 على الأوزان نحو 0، ولا يرفعها أبدًا. القيم وصولاً إلى الصفر.
تمارين: التحقق من فهمك
معدّل التسوية (lambda)
وكما هو موضح، يحاول التدريب تقليل مزيج من الخسارة والتعقيد:
يضبط مطورو النماذج التأثير الإجمالي للتعقيد على تدريب النموذج بضرب قيمتها في مقياس يسمى معدّل تنظيم المحتوى: يرمز الحرف اليوناني lambda إلى معدل الضبط.
ويعني ذلك أن مطوري النماذج يهدفون إلى تحقيق ما يلي:
معدّل تسوية مرتفع:
- يقوي تأثير التسوية، وبالتالي يقلل من فرص فرط التخصيص.
- ينتج عن إنشاء رسم بياني لأوزان النموذج التي تحتوي على ما يلي:
الخصائص التالية:
- توزيع طبيعي
- بمتوسط وزن 0.
معدّل التسوية المنخفض:
- يقلل من تأثير التسوية، وبالتالي يزيد من فرص فرط التخصيص.
- ينتج عن إنشاء رسم بياني لأوزان النموذج بتوزيع مسطح.
على سبيل المثال، المدرّج التكراري لأوزان النموذج لمعدل تسوية مرتفع كما هو موضح في الشكل 18.
وفي المقابل، يؤدي معدل التسوية المنخفض إلى الحصول على مدرج تكراري ثابت، حيث كما هو موضح في الشكل 19.
اختيار معدل التسوية
ينتج عن معدل التسوية المثالي نموذجًا يتم تعميمه جيدًا البيانات الجديدة غير المرئية سابقًا. للأسف، هذه القيمة المثالية تعتمد على البيانات، لذلك عليك القيام ببعض التوليف.
التوقف المبكر: بديل للتسوية المستندة إلى التعقيد
يُعد الإيقاف المبكر أسلوب تسوية لا يتضمن حساب التعقيد. وإنما يعني التوقف المبكر إنهاء التدريب قبل النموذج تتقارب تمامًا. فعلى سبيل المثال، يتم إنهاء التدريب عندما يُظهر منحنى الخسارة لكي تبدأ مجموعة التحقق من الصحة في الزيادة (يصبح الانحدار موجبًا).
على الرغم من أن التوقف المبكر عادة ما يزيد من خسارة التدريب، إلا أنه يمكن أن يقل فقدان الاختبارات.
يُعد التوقف المبكر شكلاً سريعًا، ولكنه نادرًا ما يكون مثاليًا. من غير المرجح أن يكون النموذج الناتج جيدًا مثل النموذج المدرَّب بدقة على معدل التسوية المثالي.
إيجاد التوازن بين معدل التعلم ومعدّل التسوية
معدّل التعلّم يميل معدل الضبط إلى سحب الأوزان في عكس الاتجاهات. غالبًا ما ينتج عن معدّل التعلّم المرتفع أهمية الترجيح بعيدًا عن الصفر. يؤدي معدل الضبط المرتفع إلى الحصول على ترجيح نحو إلى الصفر.
فإذا كان معدل التسوية مرتفعًا فيما يتعلق بمعدل التعلم، فإن الأوزان الضعيفة تميل إلى إنتاج نموذج يقدم تنبؤات سيئة. وبالعكس، إذا كان معدل التعلم مرتفعًا بالنسبة إلى التسوية فإن الأوزان القوية تميل إلى إنتاج نموذج مفرط في التوافق.
هدفك هو إيجاد التوازن بين معدل التعلم معدل التسوية. قد يكون هذا تحديًا. والأسوأ من ذلك على الإطلاق، بمجرد أن تجد هذا التوازن غير المستحيل، فقد تضطر في النهاية إلى تغيير معدل التعلم. وعندما تقوم بتغيير معدل التعلم، سيتعين عليك مرة أخرى إيجاد المعدل المثالي معدل التسوية.