فرط التخصيص: تفسير منحنيات الخسارة

سيكون التعلم الآلي أبسط بكثير إذا كانت كل منحنيات الخسارة تبدو على هذا النحو في المرة الأولى التي تدرّبت فيها على النموذج:

الشكل 20 رسم بياني يعرض منحنى الخسارة المثالي عند تدريب
            نموذج تعلُّم آلي يوضّح منحنى الخسارة الخسارة على محور y
            مقارنةً بعدد خطوات التدريب على محور x. مع زيادة عدد
            الخطوات التدريبية، يبدأ الخسارة مرتفعة، ثم ينخفض
            بشكلٍ أسي، ثم يستقر في النهاية للوصول إلى الحد الأدنى
            لخسارة.
الشكل 20. منحنى خسارة مثالي

غالبًا ما يكون من الصعب تفسير منحنيات الخسارة. استخدِم فطرتك بشأن منحنيات الخسارة لحل التمارين الواردة في هذه الصفحة.

التمرين 1: منحنى الخسارة المذبذب

الشكل 21 منحنى الخسارة (الخسارة على محور y، وعدد خطوات التدريب
            على محور x) الذي لا ينخفض فيه مستوى الخسارة
            بدلاً من ذلك، يتراجح الخسارة بشكل عشوائي.
الشكل 21. منحنى الخسارة المتذبذبة
ما هي الإجراءات الثلاثة التي يمكنك اتّخاذها لمحاولة تحسين منحنى الخسارة المعروض في الشكل 21؟
تحقَّق من بياناتك مقارنةً بمخطّط بيانات لرصد الأمثلة السيئة، ثمّ أزِل الأمثلة السيئة من مجموعة التدريب.
نعم، هذه ممارسة جيدة لجميع الطُرز.
خفض معدّل التعلّم
نعم، غالبًا ما يكون تقليل معدّل التعلّم فكرة جيدة عند تصحيح أخطاء مشكلة التدريب.
قلِّل مجموعة التدريب إلى عدد صغير من الأمثلة الموثوق بها.
على الرغم من أنّ هذه الطريقة تبدو مصطنعة، إلا أنّها في الواقع فكرة جيدة. بافتراض أنّ النموذج يتقارب مع مجموعة صغيرة من الأمثلة الموثوق بها، يمكنك بعد ذلك إضافة المزيد من الأمثلة تدريجيًا، وربما اكتشاف الأمثلة التي تتسبب في تذبذُب منحنى الخسارة.
زيادة عدد الأمثلة في مجموعة التدريب
هذه فكرة مغرية، ولكن من غير المرجّح أن تؤدي إلى حلّ المشكلة.
زيادة معدّل التعلّم
بشكل عام، تجنَّب زيادة معدّل التعلّم عندما يشير منحنى التعلّم للنموذج إلى حدوث مشكلة.

التمرين 2 منحنى الخسارة مع قفزة حادة

الشكل 22 رسم بياني لمنحنى الخسارة يعرض انخفاض الخسارة إلى عدد معيّن من خطوات التدريب ثم زيادتها فجأة مع خطوات تدريب إضافية
الشكل 22. ارتفاع حاد في الخسارة
أي بيانَين من العبارة التالية يحدّدان الأسباب المُحتمَلة للخسارة المتزايدة الموضّحة في الشكل 22؟
تحتوي بيانات الإدخال على قيمة NaN واحدة أو أكثر، على سبيل المثال، قيمة ناجمة عن قسمة بصفر.
وهذا أكثر شيوعًا ممّا تتوقّع.
تحتوي بيانات الإدخال على عدد كبير من القيم الشاذة.
في بعض الأحيان، قد يحتوي أحد الدفعات على الكثير من القيم الشاذة بسبب ترتيب الدفعات بشكل غير صحيح.
معدّل التعلّم منخفض جدًا.
قد يؤدي معدّل التعلّم المنخفض جدًا إلى زيادة وقت التدريب، ولكنه ليس هو سبب منحنى الخسارة الغريب.
معدّل التنظيم مرتفع جدًا.
صحيح أنّ التّنظيم العالي جدًا يمكن أن يمنع النموذج من التقارب، ولكنّه لن يؤدّي إلى منحنى الخسارة الغريب الموضّح في الشكل 22.

التمرين 3 تباين خسارة الاختبار عن خسارة التدريب

الشكل 23 يبدو أنّ منحنى خسارة التدريب يتقارب، ولكن يبدأ
            خسارة التحقّق في الارتفاع بعد عدد معيّن من خطوات
            التدريب.
الشكل 23. ارتفاع حاد في حالات فقدان القيمة الصالحة
أي عبارة من العبارات التالية تحدِّد بشكل أفضل سبب اختلاف منحنيات الخسارة في مجموعتَي التدريب والاختبار؟
يُجري النموذج عملية تعلُّم زائد على مجموعة التدريب.
نعم، على الأرجح. إليك بعض الحلول المحتملة:
  • اجعل النموذج أبسط، ربما من خلال تقليل عدد السمات.
  • زيادة معدّل التسوية
  • تأكَّد من أنّ مجموعة التدريب ومجموعة الاختبار متساويتان إحصائيًا.
معدّل التعلّم مرتفع جدًا.
إذا كان معدّل التعلّم مرتفعًا جدًا، من المرجّح ألا يتصرّف منحنى الخسارة لمجموعة التدريب بالطريقة التي تصرّف بها.

التمرين 4 توقُّف منحنى الخسارة

الشكل 24 رسم بياني لمنحنى الخسارة يُظهر بدء الخسارة في
            التقارب مع التدريب، ولكن بعد ذلك يعرض أنماطًا متكررة تشبه
            موجة مستطيلة
الشكل 24. فقدان عشوائي بعد عدد معيّن من الخطوات
أي عبارة من العبارات التالية هي التفسير الأكثر احتمالًا لمنحنى الخسارة المفاجئ المعروض في الشكل 24؟
تحتوي مجموعة التدريب على تسلسلات متكرّرة من الأمثلة.
هذا احتمال وارد. تأكَّد من ترتيب الأمثلة بشكل عشوائي بشكل كافٍ.
معدّل التنظيم مرتفع جدًا.
من غير المرجّح أن يكون هذا هو السبب.
تحتوي مجموعة التدريب على عدد كبير جدًا من الميزات.
من غير المرجّح أن يكون هذا هو السبب.