التعزيز الاشتقاقي (وحدة اختيارية)

في مشكلات الانحدار، يكون من المنطقي تحديد الخطأ الموقّع على أنه الفرق بين التنبؤ والتسمية. ومع ذلك، في أنواع أخرى من المشكلات، غالبًا ما تؤدي هذه الإستراتيجية إلى نتائج سيئة. تتمثل الإستراتيجية الأفضل المستخدمة في تعزيز التدرج في:

• حدد دالة الخسارة المشابهة لدوال الخسارة المستخدمة في الشبكات العصبية. على سبيل المثال، القصور (المعروف أيضًا باسم مقياس انخفاض القصور) لمشكلة تصنيف.
• درِّب النموذج الضعيف على توقُّع تدرج الخسارة وفقًا لإخراج النموذج القوي.

رسميًا، وفقًا لدالة الخسارة $L(y,p)$ حيث تكون $y$ تصنيفًا و $p$ تنبؤًا، فإن الاستجابة الزائفة $z_i$ المستخدمة لتدريب النموذج الضعيف في الخطوة $i$ هي:

$$ z_i = \frac {\partial L(y, F_i)} {\partial F_i} $$

المكان:

• $F_i$ هو التنبؤ بالنموذج القوي.

المثال السابق كان مشكلة الانحدار: الهدف هو التنبؤ بقيمة عددية. في حالة الانحدار، يكون الخطأ التربيعي إحدى دوال الخسارة الشائعة:

$$ L(y,p) = (y - p)^2 $$

في هذه الحالة، يكون التدرج هو:

$$ z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = 2(y - p) = 2 \ \text{signed error} $$

بمعنى آخر، التدرج هو الخطأ الموقَّع من المثال بعامل 2. تجدر الإشارة إلى أنّ العوامل الثابتة لا تمثّل أهمية بسبب الانكماش. لاحظ أن هذا التكافؤ ينطبق فقط على مشكلات الانحدار المتعلقة بفقدان الأخطاء التربيعية. بالنسبة إلى مشكلات التعلم المُوجّه الأخرى (مثل التصنيف، والترتيب، والانحدار مع انخفاض النسبة المئوية)، ليس هناك تكافؤ بين التدرج والخطأ المُوقع.

تحسين بنية أوراق الشجر وبنيتها باستخدام خطوة طريقة نيوتن

تعتبر طريقة نيوتن إحدى طرق التحسين مثل انحدار التدرج. ومع ذلك، على عكس انحدار التدرج الذي يستخدم تدرج الدالة من أجل التحسين فقط، تستخدم طريقة نيوتن كلاً من التدرج (المشتق الأول) والمشتق الثاني من الدالة للتحسين.

تكون خطوة انحدار التدرج على النحو التالي:

$$ x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i) $$

وطريقة نيوتن على النحو التالي:

$$ x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$$

اختياريًا، يمكن دمج طريقة نيوتن مع تطبيق الأشجار المتدرّجة بطريقتين:

1. بعد تطبيق أي شجرة، يتم تطبيق خطوة من نيوتن على كل ورقة وتتجاهل قيمتها. لم يتم تغيير بنية الشجرة، بل تتغير قيم أوراق الشجر فقط.
2. أثناء نمو شجرة، يتم اختيار الشروط وفقًا لدرجة تتضمن مكونًا من معادلة نيوتن. بنية الشجرة تتأثر.

رمز YDF

في YDF:

• يطبِّق دالة YDF دائمًا خطوة نيوتن على الورقة (الخيار 1).
• يمكنك تفعيل الخيار 2 باستخدام use_hessian_gain=True.