في مشاكل الانحدار، من المنطقي تعريف الخطأ الموقَّع على أنّه الفرق بين التوقّع والعلامة. وفي المقابل، في الأنواع الأخرى من المشاكل، غالبًا ما تؤدي هذه الاستراتيجية إلى نتائج سيئة. إنّ استراتيجية أفضل تُستخدَم في تضخيم التدرّج هي:
- حدِّد دالة خسارة مشابهة لدوالّ الخسارة المستخدَمة في الشبكة العصبية. على سبيل المثال، قياس الإنتروبيا (المعروف أيضًا باسم مقياس انخفاض القصور) لمشكلة التصنيف.
- تدريب النموذج الضعيف لتوقّع مشتق الخسارة وفقًا لناتج النموذج القوي
بشكل رسمي، استنادًا إلى دالة الخسارة حيث يكون تصنيفًا و توقّعًا، فإنّ الاستجابة الزائفة المستخدَمة لتدريب النموذج الضعيف في الخطوة هي:
حيث:
- هو توقّع النموذج القوي.
كان المثال السابق مشكلة انحدار: الهدف هو التنبؤ بقيمة رقمية. في حالة الانحدار، يكون الخطأ التربيعي دالة قياس خسائر شائعة:
في هذه الحالة، يكون التدرّج على النحو التالي:
بعبارة أخرى، فإنّ التدرّج هو الخطأ الموقَّت من مثالنا مضروبًا في عامل 2. يُرجى العلم أنّ العوامل الثابتة لا تهمّ بسبب التقلّص. يُرجى العلم أنّ هذا التكافؤ لا ينطبق إلا على مشاكل الانحدار التي تستخدم خطأ مربع الخسارة. بالنسبة إلى مشاكل التعلّم الخاضع للإشراف الأخرى (مثل التصنيف، والترتيب، والانحدار مع خسارة النسبة المئوية)، لا تتوفّر إمكانية الربط بين التدرّج وخطأ موقَّت.
تحسين الأوراق والبنية باستخدام خطوة طريقة نيوتن
طريقة نيوتن هي طريقة تحسين مثل انحدار التدرج. ومع ذلك، على عكس التناقص التدرّجي الذي يستخدم فقط تدرج الدالة لتحسينها، تستخدم طريقة نيوتن كلاً من التدرج (المشتق الأول) والمشتق الثاني للدالة لتحسينها.
في ما يلي خطوة من خطوات انحدار التدرج:
وطريقة نيوتن على النحو التالي:
يمكن دمج طريقة نيوتن اختياريًا في تدريب الأشجار المعزّزة بالانحدار بطريقتَين:
- بعد تدريب الشجرة، يتم تطبيق خطوة نيوتن على كل ورقة و تحلّ محلّ قيمتها. لا يتمّ تغيير بنية الشجرة، بل يتمّ تغيير قيم الأوراق فقط.
- أثناء نمو الشجرة، يتم اختيار الشروط وفقًا لنتيجة تتضمّن مكوّنًا من صيغة نيوتن. يتأثّر هيكل الشجرة.
- تطبِّق YDF دائمًا خطوة نيوتن على الورقة (الخيار 1).
- يمكنك تفعيل الخيار 2 باستخدام
use_hessian_gain=True
.