تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

التعزيز الاشتقاقي (وحدة اختيارية)

على هذه الصفحة
تحسين الأوراق والبنية باستخدام خطوة طريقة نيوتن

في مشاكل الانحدار، من المنطقي تعريف الخطأ الموقَّع على أنّه الفرق بين التوقّع والعلامة. وفي المقابل، في الأنواع الأخرى من المشاكل، غالبًا ما تؤدي هذه الاستراتيجية إلى نتائج سيئة. إنّ استراتيجية أفضل تُستخدَم في تضخيم التدرّج هي:

حدِّد دالة خسارة مشابهة لدوالّ الخسارة المستخدَمة في الشبكة العصبية. على سبيل المثال، قياس الإنتروبيا (المعروف أيضًا باسم مقياس انخفاض القصور) لمشكلة التصنيف.
تدريب النموذج الضعيف لتوقّع مشتق الخسارة وفقًا لناتج النموذج القوي

بشكل رسمي، استنادًا إلى دالة الخسارة $L(y,p)$ حيث يكون $y$ تصنيفًا و $p$ توقّعًا، فإنّ الاستجابة الزائفة $z_i$ المستخدَمة لتدريب النموذج الضعيف في الخطوة $i$ هي:

z_{i} = \frac{\partial L (y, F_{i})}{\partial F_{i}}

$z_i = \frac {\partial L(y, F_i)} {\partial F_i}$

حيث:

$F_i$ هو توقّع النموذج القوي.

كان المثال السابق مشكلة انحدار: الهدف هو التنبؤ بقيمة رقمية. في حالة الانحدار، يكون الخطأ التربيعي دالة قياس خسائر شائعة:

L (y, p) = (y - p)^{2}

$L(y,p) = (y - p)^2$

في هذه الحالة، يكون التدرّج على النحو التالي:

z = \frac{\partial L (y, F_{i})}{\partial F_{i}} = \frac{\partial (y - p)^{2}}{\partial p} = - 2 (y - p) = 2 signed error

$z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error}$

بعبارة أخرى، فإنّ التدرّج هو الخطأ الموقَّت من مثالنا مضروبًا في عامل 2. يُرجى العلم أنّ العوامل الثابتة لا تهمّ بسبب التقلّص. يُرجى العلم أنّ هذا التكافؤ لا ينطبق إلا على مشاكل الانحدار التي تستخدم خطأ مربع الخسارة. بالنسبة إلى مشاكل التعلّم الخاضع للإشراف الأخرى (مثل التصنيف، والترتيب، والانحدار مع خسارة النسبة المئوية)، لا تتوفّر إمكانية الربط بين التدرّج وخطأ موقَّت.

تحسين الأوراق والبنية باستخدام خطوة طريقة نيوتن

طريقة نيوتن هي طريقة تحسين مثل انحدار التدرج. ومع ذلك، على عكس التناقص التدرّجي الذي يستخدم فقط تدرج الدالة لتحسينها، تستخدم طريقة نيوتن كلاً من التدرج (المشتق الأول) والمشتق الثاني للدالة لتحسينها.

في ما يلي خطوة من خطوات انحدار التدرج:

x_{i + 1} = x_{i} - \frac{d f}{d x} (x_{i}) = x_{i} - f^{'} (x_{i})

$x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i)$

وطريقة نيوتن على النحو التالي:

x_{i + 1} = x_{i} - \frac{\frac{d f}{d x} (x_{i})}{\frac{d^{2} f}{d^{2} x} (x_{i})} = x_{i} - \frac{f^{'} (x_{i})}{f^{″} (x_{i})}

$x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$

يمكن دمج طريقة نيوتن اختياريًا في تدريب الأشجار المعزّزة بالانحدار بطريقتَين:

بعد تدريب الشجرة، يتم تطبيق خطوة نيوتن على كل ورقة و تحلّ محلّ قيمتها. لا يتمّ تغيير بنية الشجرة، بل يتمّ تغيير قيم الأوراق فقط.
أثناء نمو الشجرة، يتم اختيار الشروط وفقًا لنتيجة تتضمّن مكوّنًا من صيغة نيوتن. يتأثّر هيكل الشجرة.

رمز YDF

في YDF:

تطبِّق YDF دائمًا خطوة نيوتن على الورقة (الخيار 1).
يمكنك تفعيل الخيار 2 باستخدام use_hessian_gain=True.

المقدمة

زيادة في النشاط والتسوية