الإفراط في التوافق يعني إنشاء نموذج يطابق (يتذكر) مجموعة تدريب إذًا أن النموذج يعجز عن تقديم تنبؤات صحيحة عن البيانات الجديدة. يتشابه النموذج المفرط في التوافق مع اختراع يعمل بشكل جيد في المختبر ولكن لا قيمة له في العالم الحقيقي.
في الشكل 11، تخيل أن كل شكل هندسي يمثل موضع شجرة في غابة مربعة. تشير الماسات الزرقاء إلى مواقع الأشجار الصحية، بينما تحدد الدوائر البرتقالية أماكن الأشجار المرضية.
ارسم عقليًا أي أشكال - خطوط ومنحنيات ، أشكال بيضاوية - أي شيء - لفصل الأشجار الصحية من الأشجار المريضة. ثم قم بتوسيع السطر التالي لفحص فصل واحد محتمل.
وسِّع لعرض حل واحد ممكن (الشكل 12).
صنفت الأشكال المعقدة الموضحة في الشكل 12 بنجاح جميع والأشجار. وإذا فكرنا في الأشكال كنموذج، فإن ذلك يمثل نموذجًا الأمثل.
لكن، من يدري؟ نجح أحد النماذج الممتازة حقًا في تصنيف الأمثلة الجديدة. يوضح الشكل 13 ما يحدث عندما يقدم هذا النموذج نفسه تنبؤات حول أمثلة من مجموعة الاختبار:
إذًا، أحسن النموذج المعقد الموضح في الشكل 12 في مجموعة التطبيق لكنه عمل سيئ للغاية في مجموعة الاختبار. هذه هي الحالة الكلاسيكية لنموذج فرط التخصيص في بيانات مجموعة التطبيق.
فرط التخصيص وفرط التعميم
يجب أن يقدّم النموذج توقعات جيدة بشأن البيانات الجديدة. أي أنك تهدف إلى إنشاء نموذج "مناسب" البيانات الجديدة.
كما رأيت، ينتج عن النموذج المفرط في التوافق تنبؤات ممتازة عن التدريب البيانات ولكن توقعات سيئة للبيانات الجديدة. إنّ نموذج فرط التخصيص لا يقدم حتى تنبؤات جيدة بشأن بيانات التدريب. إذا كان النموذج المفرط في التوافق مثل أي منتج يقدم أداءً جيدًا في المختبر ولكن سيئ في العالم الحقيقي، فإن نموذج نقص التوافق يشبه منتجًا لا يعمل بشكل جيد في المعمل.
التخصيص هو عكس فرط التخصيص. أي أنّ النموذج الذي يُعمم جيدًا يكون جيدًا التوقعات بشأن البيانات الجديدة. هدفك هو إنشاء نموذج يعمم جيدًا إلى البيانات الجديدة.
اكتشاف فرط التخصيص
تساعدك المنحنيات التالية في اكتشاف فرط التخصيص:
- منحنيات الخسارة
- منحنيات التعميم
يشير منحنى الخسارة إلى نسبة خسارة أحد النماذج مقابل عدد التكرارات التدريبية. ويسمى الرسم البياني الذي يعرض منحني خسارة أو أكثر تعميمًا منحنى ما يلي: يُظهر منحنى التعميم منحنى خسارة:
لاحظ أن منحني الخسارة يعملان بشكل متماثل في البداية ثم يتباعدان. أي، بعد عدد معين من التكرارات، يحدث انخفاض الخسارة أو ثابتة (تقاربات) لمجموعة التدريب، لكنه يزيد لمجموعة التحقق من الصحة. وهذا يدل على فرط التخصيص.
في المقابل، يُظهر منحنى التعميم لنموذج مناسب جيدًا منحنى خسارة ذات الأشكال المتشابهة.
ما هي أسباب فرط التخصيص؟
وعلى نطاق واسع جدًا، يحدث فرط التخصيص نتيجة أحد السببين التاليَين أو كليهما المشكلات:
- لا تمثل مجموعة التدريب بيانات الحياة الواقعية بشكل كافٍ (أو مجموعة التحقق أو مجموعة الاختبار).
- النموذج معقد جدًا.
شروط التعميم
يتدرب النموذج على مجموعة تدريب، ولكن الاختبار الحقيقي لقيمة النموذج هو كيف كما أنه يقدم تنبؤات عن الأمثلة الجديدة، خاصة بشأن البيانات الواقعية. أثناء تطوير أحد النماذج، تعمل مجموعة الاختبار كخادم وكيل للبيانات الواقعية. يشير تدريب نموذج عام بشكل جيد إلى شروط مجموعة البيانات التالية:
- يجب أن تكون الأمثلة: موزّعة بشكل متماثل ومستقل وهي طريقة رائعة للقول إن ولا يمكن أن تؤثر الأمثلة في بعضها البعض.
- مجموعة البيانات هي ثابتة، بمعنى آخر مجموعة البيانات لا تتغير بشكل كبير بمرور الوقت.
- أقسام مجموعة البيانات لها نفس التوزيع. أي أن الأمثلة في مجموعة التطبيق تتشابه إحصائيًا مع الأمثلة في مجموعة التحقق ومجموعة الاختبار والبيانات الواقعية.
اكتشف الشروط السابقة من خلال التمارين التالية.
تمارين: التحقق من فهمك
تمرين التحدي
أنت تنشئ نموذجًا للتنبؤ بالتاريخ المثالي لشراء الدراجين تذكرة قطار لمسار معين. على سبيل المثال، قد يوصي النموذج أن يشتري المستخدمون تذكرتهم في 8 يوليو للقطار الذي سيغادر في 23 يوليو. تعدّل شركة القطارات الأسعار كل ساعة استنادًا إلى التعديلات التي أجرتها شركة القطارات، من العوامل، وبشكل أساسي على العدد الحالي للمقاعد المتاحة. والمقصود:
- في حال توفّر عدد كبير من المقاعد، تكون أسعار التذاكر منخفضة عادةً.
- في حال توفّر عدد قليل جدًا من المقاعد، تكون أسعار التذاكر مرتفعة عادةً.
الإجابة: هناك صعوبات في النموذج الحقيقي تقرير الملاحظات والآراء:
على سبيل المثال، افترض أن النموذج ينصح المستخدمين بشراء التذاكر في 8 يوليو. بعض الراكبين الذين يستخدمون توصية النموذج يشترون تذاكرهم في الساعة 8:30 في صباح 8 يوليو. في الساعة 9:00، ترفع شركة القطارات الأسعار لأن عدد المقاعد المتوفِّرة أقل الآن. تمكن الركاب الذين يستخدمون توصية النموذج من الأسعار المتغيرة. بحلول المساء، قد تكون أسعار التذاكر أعلى بكثير مما تكون عليه في صَبَاح