فرط التخصيص: مدى تعقيد النموذج

قدّمت الوحدة السابقة النموذج التالي الذي أخطأ في تصنيف الكثير من الأشجار في مجموعة الاختبار:

الشكل 16. النموذج المعقّد الذي يتسبب في حدوث مشاكل من الوحدة السابقة

يحتوي النموذج السابق على الكثير من الأشكال المعقّدة. هل يمكن أن يعالج نموذج أبسط البيانات الجديدة بشكل أفضل؟ لنفترض أنّك استبدلت النموذج المعقّد بأحد نماذج الانحدار الخطي البسيطة جدًا، وهو خط مستقيم.

الشكل 17. نموذج أبسط بكثير

يُجري النموذج البسيط تعميمًا أفضل من النموذج المعقّد على البيانات الجديدة. وهذا يعني أنّه قدّم النموذج البسيط تنبؤات أفضل في مجموعة الاختبار مقارنةً بالنموذج المعقّد.

لطالما كانت البساطة تفوق التعقيد. في الواقع، يعود استخدام المظهر البسيط إلى اليونان القديمة. بعد قرون، مثّل راهب من القرن الرابع عشر يدعى "ويليام الأوكامي" المفضّل لديه باستخدام فلسفة معروفة باسم سكين شارترخم. وتبقى هذه الفلسفة مبدأ أساسيًا في العديد من العلوم، بما في ذلك التعلم الآلي.

ملاحظة: عادةً ما تحقّق النماذج المعقّدة أداءً أفضل من النماذج البسيطة في مجموعة التدريب. ومع ذلك، عادةً ما تحقّق النماذج البسيطة أداءً أفضل من النماذج المعقّدة في مجموعة الاختبار (وهي المجموعة الأكثر أهمية).

تمارين: التحقّق من فهمك

أنت بصدد تطوير معادلة فيزيائية. أيّ من الصِيَغ التالية يتوافق بشكلٍ أكبر مع مبدأ "شفرات أوكام"؟

صيغة تحتوي على ثلاثة متغيّرات

إنّ استخدام ثلاثة متغيّرات أكثر ملاءمةً لمبدأ Ockham مقارنةً باستخدام اثني عشر متغيّرًا.

معادلة تحتوي على اثني عشر متغيّرًا

يبدو أنّ اثني عشر متغيّرًا معقدًا للغاية، أليس كذلك؟ إنّ معادلتَي الفيزياء الأكثر شهرة على الإطلاق (F=ma و E=mc²) تتضمّنان كلّ منهما ثلاثة متغيّرات فقط.

أنت بصدد تنفيذ مشروع جديد تمامًا للتعلم الآلي، وعلي وشك اختيار الميزات الأولى. كم عدد الميزات التي يجب اختيارها؟

اختَر من ميزة واحدة إلى ثلاث ميزات تبدو أنّها تتمتع بقدرة تنبؤية قوية.

من الأفضل أن تبدأ عملية جمع البيانات باستخدام ميزة واحدة أو سمتَين فقط. سيساعدك ذلك في التأكّد من أنّ نموذج الذكاء الاصطناعي يعمل على النحو المطلوب. بالإضافة إلى ذلك، عند إنشاء مرجع من ميزتَين، ستشعر أنّك تحقّق تقدّمًا.

اختَر من 4 إلى 6 ميزات تبدو أنّها تتمتع بقدرة تنبؤية قوية.

قد تستخدم في النهاية هذا العدد من الميزات، ولكن من الأفضل البدء بعدد أقل. وعادةً ما يعني عدد الميزات الأقل عددًا أقل من الصعوبات غير الضرورية.

اختَر أكبر عدد ممكن من الميزات، حتى تتمكّن من مراقبة ميزات التنبؤ الأقوى.

ابدأ بميزانية صغيرة. تضيف كل ميزة جديدة سمة جديدة إلى مجموعة بيانات التدريب. عند زيادة الأبعاد، يزداد حجم المساحة بسرعة كبيرة لدرجة أنّ بيانات التدريب المتاحة تصبح متفرقّة. كلما كانت بياناتك أقل كثافة، كان من الصعب على النموذج تعلُّم العلاقة بين السمات المهمة والعلامة. تُعرف هذه الظاهرة باسم "لعنة الأبعاد".

التسوية

يجب أن تستوفي نماذج تعلُّم الآلة هدفَين متعارضَين في الوقت نفسه:

• أن تلائم البيانات بشكل جيد
• اضبط البيانات بأكبر قدر ممكن من البساطة.

من الطرق التي تحافظ على بساطة النموذج هي معاقبة النماذج المعقّدة، أي فرض بساطة النموذج أثناء التدريب. إنّ فرض عقوبات على النماذج المعقدة هو أحد أشكال التسويف.

تشابه مع أسلوب التنظيم: لنفترض أنّ كل طالب في قاعة محاضرات لديه جرس صغير يُصدر صوتًا يزعج الأستاذ. كان الطلاب يضغطون على الجرس عندما تصبح محاضرة الأستاذ الجامعي شديدة الصعوبة. سيضطر الأستاذ إلى تبسيط المحاضرة بسبب انزعاجه. كان الأستاذ يشتكي من أنّه "عندما أبسّط، لا أكون دقيقًا بما يكفي". سيردّ الطلاب على ذلك قائلين: "الهدف الوحيد هو شرح الموضوع ببساطة كي أتمكّن من فهمه". تدريجيًا، ستدرب أجهزة التنبيه الأستاذ الجامعي على تقديم محاضرة بسيطة بشكل مناسب، حتى لو لم تكن المحاضرة البسيطة دقيقة بما يكفي.

الخسارة والتعقيد

حتى الآن، اقترحت هذه الدورة التدريبية أنّ الهدف الوحيد عند التدريب هو تقليل الخسارة، أي:

$$\text{minimize(loss)}$$

كما رأيت، تميل النماذج التي تركّز فقط على تقليل الخسارة إلى التكيّف المفرط. تعمل خوارزمية تحسين التدريب الأفضل على تقليل بعض المجموعات من الخسارة والتعقيد:

$$\text{minimize(loss + complexity)}$$

لسوء الحظ، عادةً ما يكون معدّل الخسارة عكسيًا لمعدّل التعقيد. وكلما زادت الصعوبة، انخفضت الخسارة. وكلما انخفضت درجة التعقيد، زادت الخسارة. من المفترض أن تعثر على حلّ وسط معقول يقدّم فيه النموذج تنبؤات جيدة على كلّ من بيانات التدريب والبيانات الواقعية. وهذا يعني أنّه يجب أن يجد نموذجك حلًا معقولاً بين الخسارة والتعقيد.

ما هو التعقيد؟

لقد اطّلعت من قبل على بعض الطرق المختلفة لتحديد الخسارة. كيف يمكنك قياس التعقيد؟ ابدأ استكشافك من خلال التمرين التالي:

التمرين: التحقّق من حدسك

حتى الآن، لم نوضّح بشكل كافٍ ما هو مستوى التعقيد في الواقع. ما هي الأفكار التالية التي تعتقد أنّها مناسبة لمقاييس التعقيد؟

يعتمد مستوى التعقيد على أوزان النموذج.

نعم، هذه إحدى الطرق لقياس تعقيد بعض النماذج. يُعرف هذا المقياس باسم تسوية L₁.

يرتبط مستوى التعقيد بمربّع أوزان النموذج.

نعم، يمكنك قياس تعقيد بعض النماذج بهذه الطريقة. يُعرف هذا المقياس باسم تسوية ₂.

التعقيد هو دالة لانحيازات جميع الميزات في النموذج.

لا يقيس الانحياز التعقيد.

المصطلحات الرئيسية:

• تضييق ₁
• L₂ regularization
• التسوية