فرط التخصيص: تفسير منحنيات الخسارة

ستكون التعلم الآلي أبسط بكثير إذا كانت جميع منحنيات الخسارة بهذا الشكل في المرة الأولى التي درّبت فيها النموذج الخاص بك:

الشكل 20. مخطط يوضح منحنى الخسارة المثالي عند تدريب
            نموذج التعلم الآلي. يشير منحنى الخسارة إلى الخسارة على المحور y
            مقابل عدد خطوات التطبيق على المحور س. كرقم
            من خطوات التدريب، يبدأ الخسارة بدرجة عالية، ثم تنخفض
            بشكل كبير، ثم يستقر في النهاية للوصول إلى الحد الأدنى
            الخسارة.
الشكل 20 منحنى الخسارة المثالي.

لسوء الحظ، غالبًا ما يصعب تفسير منحنيات الخسارة. يمكنك استخدام حول منحنيات الخسارة لحل التمارين الواردة في هذه الصفحة.

التمرين 1: منحنى الخسارة المتذبذب

الشكل 21. منحنى الخسارة (الخسارة على المحور ص؛ عدد التدريبات
            الخطوات على المحور س) التي لا تستقر فيها الخسارة.
            وبدلاً من ذلك، تبدأ الخسارة بشكل غير منتظم.
الشكل 21. منحنى الخسارة المتذبذبة
ما الإجراءات الثلاثة التي يمكنك اتّخاذها لمحاولة تحسين منحنى الخسارة كما هو موضح في الشكل 21.
تحقق من بياناتك مقابل مخطط بيانات لاكتشاف الأمثلة السيئة، ثم إزالة الأمثلة السيئة من مجموعة التطبيق.
نعم، هذه ممارسة جيدة مع جميع النماذج.
قلِّل معدّل التعلّم.
نعم، غالبًا ما يكون تقليل معدّل التعلّم فكرة جيدة عند تصحيح أخطاء مشكلة تطبيقية.
تقليل مجموعة التدريب إلى عدد قليل من الأمثلة الجديرة بالثقة.
وبالرغم من أن هذه التقنية تبدو مصطنعة، إلا أنها في الواقع من الجيد الفكرة. وبافتراض أن النموذج يتقارب مع مجموعة صغيرة من الأمثلة الموثوقة، يمكنك بعد ذلك إضافة المزيد من الأمثلة تدريجيًا، ربما اكتشاف الأمثلة التي تتسبب في انحدار منحنى الخسارة تذبذب.
قم بزيادة عدد الأمثلة في المجموعة التدريبية.
هذه فكرة مغرية، ولكن من غير المحتمل جدًا إصلاحها المشكلة.
زيادة معدّل التعلّم
وبشكل عام، تجنب زيادة معدل التعلم عند حساب يشير منحنى التعلم إلى مشكلة.

التمرين 2. منحنى الخسارة مع قفزة حادة

الشكل 22. مخطط منحنى الخسارة الذي يوضح الخسارة المتناقصة إلى
            عدد معين من خطوات التطبيق ثم يزداد فجأة
            بالإضافة إلى خطوات تدريبية إضافية.
الشكل 22. زيادة حادة في الخسارة.
أي عبارتين من العبارتين التاليتَين يمكن تحديدهما أسباب الخسارة المتفجرة الموضحة في الشكل 22.
تحتوي بيانات الإدخال على رقم NaN واحد أو أكثر - على سبيل المثال، قيمة ناتج القسمة على صفر.
هذا الأمر أكثر شيوعًا مما تتوقع.
تحتوي بيانات الإدخال على سلسلة من القيم الشاذّة.
وفي بعض الأحيان، قد ينتج عن خلط الدفعات عشوائيًا دفعة واحدة الكثير من القيم المتطرفة.
معدّل التعلّم منخفض جدًا.
قد يؤدي معدل التعلم المنخفض جدًا إلى زيادة وقت التدريب، ولكنه وليس سبب منحنى الخسارة الغريب.
معدّل التسوية مرتفع جدًا.
صحيح أن التسوية العالية للغاية قد تمنع النموذج من converging; إلا أنه لن يتسبب في منحنى الخسارة الغريب كما هو موضح في الشكل 22.

التمرين 3. خسارة الاختبار تختلف عن خسارة التدريب

الشكل 23. يبدو أن منحنى فقدان التدريب متقارب، لكن
            يبدأ فقدان التحقق في الارتفاع بعد إجراء عدد معين من التدريب
            الخطوات.
الشكل 23. ارتفاع حاد في معدّل فقدان التحقّق
أيّ من العبارات التالية واحدة من العبارات التالية تحدِّد على أفضل نحو والسبب وراء هذا الاختلاف بين منحنيات الخسارة في التطبيق، ومجموعات الاختبار؟
يؤدي هذا النموذج إلى فرط تخصيص مجموعة التدريب.
نعم، هذا صحيح. الحلول الممكنة:
  • أن تجعل النموذج أكثر بساطة، ربما عن طريق تقليل عدد من الميزات.
  • عليك زيادة معدل التسوية.
  • التأكد من صحة مجموعة التطبيق ومجموعة الاختبار إحصائيًا مماثلة.
معدّل التعلّم مرتفع جدًا.
إذا كان معدل التعلم مرتفعًا للغاية، فإن منحنى الخسارة لمجموعة التدريب ما كان يتصرف كما فعل.

التمرين 4. يتعثر منحنى الخسارة

الشكل 24. مخطط لمنحنى الخسارة يوضح بداية الخسارة
            مع التطبيق ثم عرض أنماط متكررة
            يشبه موجة مستطيلة.
الشكل 24. فقدان فوضوي بعد عدد معين من الخطوات.
أيّ عبارة من العبارات التالية هي الأكثر احتمالاً لأي تفسير لمنحنى الخسارة غير المنتظمة في الشكل 24؟
تحتوي مجموعة التدريب على تسلسلات متكررة من الأمثلة.
وهذا أمر محتمل. التأكد من الترتيب العشوائي للأمثلة بشكل كافٍ.
معدّل التسوية مرتفع جدًا.
ومن غير المرجّح أن يكون هذا هو السبب.
تحتوي مجموعة التدريب على ميزات كثيرة جدًا.
ومن غير المرجّح أن يكون هذا هو السبب.