فرط التخصيص: مدى تعقيد النموذج

قدّمت الوحدة السابقة النموذج التالي الذي أخطأ في تصنيف الكثير من الأشجار في مجموعة الاختبار:

الشكل 16 الصورة نفسها الواردة في الشكل 13 هذا شكل معقّد يؤدي إلى
            تصنيف العديد من الأشجار بشكل خاطئ.
الشكل 16. النموذج المعقّد الذي يتسبب في حدوث مشاكل من الوحدة السابقة

يحتوي النموذج السابق على الكثير من الأشكال المعقّدة. هل يمكن أن يعالج نموذج أبسط البيانات الجديدة بشكل أفضل؟ لنفترض أنّك استبدلت النموذج المعقّد بأحد نماذج الانحدار الخطي البسيطة جدًا، وهو خط مستقيم.

الشكل 17 نموذج خط مستقيم يؤدي بشكل ممتاز
            إلى فصل الأشجار المريضة عن الأشجار السليمة
الشكل 17. نموذج أبسط بكثير

يُجري النموذج البسيط تعميمًا أفضل من النموذج المعقّد على البيانات الجديدة. وهذا يعني أنّه قدّم النموذج البسيط تنبؤات أفضل في مجموعة الاختبار مقارنةً بالنموذج المعقّد.

لطالما كانت البساطة تفوق التعقيد. في الواقع، يعود استخدام المظهر البسيط إلى اليونان القديمة. بعد قرون، مثّل راهب من القرن الرابع عشر يدعى "ويليام الأوكامي" المفضّل لديه باستخدام فلسفة معروفة باسم سكين شارترخم. وتبقى هذه الفلسفة مبدأ أساسيًا في العديد من العلوم، بما في ذلك التعلم الآلي.

تمارين: التحقّق من فهمك

أنت بصدد تطوير معادلة فيزيائية. أيّ من الصِيَغ التالية يتوافق بشكلٍ أكبر مع مبدأ "شفرات أوكام"؟
معادلة تحتوي على اثني عشر متغيّرًا
صيغة تحتوي على ثلاثة متغيّرات
أنت بصدد تنفيذ مشروع جديد تمامًا للتعلم الآلي، وعلي وشك اختيار الميزات الأولى. كم عدد الميزات التي يجب اختيارها؟
اختَر من 4 إلى 6 ميزات تبدو أنّها تتمتع بقدرة تنبؤية قوية.
اختَر أكبر عدد ممكن من الميزات، حتى تتمكّن من مراقبة ميزات التنبؤ الأقوى.
اختَر من ميزة واحدة إلى ثلاث ميزات تبدو أنّها تتمتع بقدرة تنبؤية قوية.

التسوية

يجب أن تستوفي نماذج تعلُّم الآلة هدفَين متعارضَين في الوقت نفسه:

  • أن تلائم البيانات بشكل جيد
  • اضبط البيانات بأكبر قدر ممكن من البساطة.

من الطرق التي تحافظ على بساطة النموذج هي معاقبة النماذج المعقّدة، أي فرض بساطة النموذج أثناء التدريب. إنّ فرض عقوبات على النماذج المعقدة هو أحد أشكال التسويف.

الخسارة والتعقيد

حتى الآن، اقترحت هذه الدورة التدريبية أنّ الهدف الوحيد عند التدريب هو تقليل الخسارة، أي:

minimize(loss)

كما رأيت، تميل النماذج التي تركّز فقط على تقليل الخسارة إلى التكيّف المفرط. تعمل خوارزمية تحسين التدريب الأفضل على تقليل بعض المجموعات من الخسارة والتعقيد:

minimize(loss + complexity)

لسوء الحظ، عادةً ما يكون معدّل الخسارة عكسيًا لمعدّل التعقيد. وكلما زادت الصعوبة، انخفضت الخسارة. وكلما انخفضت درجة التعقيد، زادت الخسارة. من المفترض أن تعثر على حلّ وسط معقول يقدّم فيه النموذج تنبؤات جيدة على كلّ من بيانات التدريب والبيانات الواقعية. وهذا يعني أنّه يجب أن يجد نموذجك حلًا معقولاً بين الخسارة والتعقيد.

ما هو التعقيد؟

لقد اطّلعت من قبل على بعض الطرق المختلفة لتحديد الخسارة. كيف يمكنك قياس التعقيد؟ ابدأ استكشافك من خلال التمرين التالي:

التمرين: التحقّق من حدسك

حتى الآن، لم نوضّح بشكل كافٍ ما هو مستوى التعقيد في الواقع. ما هي الأفكار التالية التي تعتقد أنّها مناسبة لمقاييس التعقيد؟
يرتبط مستوى التعقيد بمربّع أوزان النموذج.
التعقيد هو دالة لانحيازات جميع الميزات في النموذج.
يعتمد مستوى التعقيد على أوزان النموذج.