الانحدار الخطي: انحدار التدرج

انحدار التدرج هو أسلوبًا رياضيًا لإيجاد الأوزان والتحيز التي ينتج عنها بالنموذج صاحب أقل خسارة. يواجِد انحدار التدرج أفضل وزن وانحياز بتكرار العملية التالية لعدد من التكرارات التي يحددها المستخدم.

يبدأ النموذج في التطبيق بالأوزان العشوائية والانحيازات القريبة من الصفر، ثم يكرر الخطوات التالية:

1. احسب الخسارة من خلال الوزن الحالي والانحياز.

2. حدد اتجاه تحريك الأوزان والانحياز الذي يقلل من الخسارة.

3. حرِّك قيم الوزن والانحياز بمقدار صغير في الاتجاه الذي يقلل الخسارة.

4. عُد إلى الخطوة الأولى وكرر العملية حتى لا يتمكن النموذج من تقليل أكثر من ذلك.

ويوضح الرسم البياني أدناه الخطوات التكرارية التي تنفذها انحدار التدرج لإيجاد القيم التقديرية والتحيز الذي ينتج عنه النموذج بأقل خسارة.

الشكل 12. وخورازمية انحدار التدرج هي عملية تكرارية لإيجاد القيم التقديرية والتحيز الذي ينتج عنه النموذج بأقل خسارة.

انقر على رمز الإضافة لمعرفة المزيد من المعلومات عن العمليات الحسابية وراء انحدار التدرج.

وعلى مستوى الخرسانة، يمكننا الاطلاع على خطوات انحدار التدرج استخدام مجموعة بيانات صغيرة بها سبعة أمثلة لوزن السيارة بالرطل وتصنيفها بالميل لكل غالون:

الرطل في 1000 (الميزة)	ميل لكل غالون (التصنيف)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

1. يبدأ النموذج في التدريب عن طريق ضبط الوزن والانحياز على صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. حساب فقدان الخطأ التربيعي المتوسط باستخدام مَعلمات النموذج الحالية:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. حساب انحدار المماس لدالة فقدان كل وزن والتحيز:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز علامة الجمع للتعرّف على طريقة حساب الميل.

للحصول على انحدار خطوط المماس للوزن التحيز، نأخذ مشتق دالة الخسارة مع فيما يتعلق بالوزن والتحيز، ثم حلل والمعادلات.

سنكتب معادلة التوقّع على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

نكتب القيمة الفعلية على النحو التالي: $ y $.

سنحسب الخطأ التربيعي المتوسط باستخدام:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثل $i$ مثال التدريب $ith$ ويمثل $M$ عدد الأمثلة.

مشتق من الوزن

يُكتب المشتق من دالة الخسارة بالنسبة إلى الوزن على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمه استنادًا إلى ما يلي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

أولًا نلخص كل قيمة متنبأ بها مطروحًا منها القيمة الفعلية ثم ضربه في مرتين في قيمة الميزة. ثم نقسم المجموع على عدد الأمثلة. النتيجة هي ميل خط المماس إلى القيمة الوزن.

إذا حللنا هذه المعادلة بقياس وزن وانحياز مساوٍ صفر، نحصل على -119.7 مقابل انحدار الخط.

مشتق التحيز

مشتق دالة الخسارة بالنسبة إلى التحيز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمه استنادًا إلى ما يلي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 دولار

أولًا نلخص كل قيمة متنبأ بها مطروحًا منها القيمة الفعلية ثم ضربه في اثنين. ثم نقسم المجموع على عدد من الأمثلة. والنتيجة هي انحدار الخط المماس لقيمة التحيز.

إذا حللنا هذه المعادلة بقياس وزن وانحياز مساوٍ صفر، نحصل على -34.3 انحدار الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الانحدار السالب للحصول على الوزن والتحيز التالي. في الوقت الحالي، سنحدد بشكل عشوائي "كمية صغيرة" كـ 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدم الوزن والانحياز الجديدين لحساب الخسارة والتكرار. الإكمال عملية ستة تكرارات، نحصل على الأوزان والتحيزات التالية، والخسائر:

التكرار	الوزن	الانحياز	الخسارة (MSE)
1	0	0	303.71
2	1.2	0.34	170.67
3	2.75	0.59	67.3
4	3.17	0.72	50.63
5	3.47	0.82	42.1
6	3.68	0.9	37.74

يمكنك أن ترى أن الخسارة تزداد مع كل وزن وتحيز محدث. في هذا المثال، توقفنا بعد ستة تكرارات. من الناحية العملية، يبرز النموذج في القطارات حتى الإحالات الناجحة: عندما يتقارب نموذج، لا تؤدي التكرارات الإضافية إلى تقليل الخسارة أكثر لأن خورازمية انحدار التدرج قد وجدت الأوزان والتحيز الذي وتقليل الخسارة.

إذا استمر النموذج في التدريب على التقارب بعد التقارب، تبدأ الخسارة بكميات صغيرة حيث يقوم النموذج بتحديث المعاملات حول أدنى قيمها. هذا يمكن أن يجعل من الصعب والتحقق من تقارب النموذج بالفعل. لتأكيد النموذج تحتاج إلى مواصلة التدريب حتى نهاية الخسارة استقرارًا.

نموذج منحنيات التقارب والخسارة

عند تدريب أحد النماذج، غالبًا ما تجد خسارة منحنى لتحديد ما إذا كان النموذج يحتوي على مقاربة. يُظهر منحنى الخسارة كيفية تغير الخسارة مع تدريب النموذج. فيما يلي الخسارة المعتادة الشكل. تقع الخسارة على المحور y والتكرارات على المحور x:

الشكل 13. منحنى الخسارة الذي يُظهر النموذج الذي يتقارب حول علامة التكرار 1000.

يمكنك أن ترى أن الخسارة تنخفض بشكل كبير خلال التكرارات القليلة الأولى، ثم تنخفض تدريجيًا قبل أن تسويتها حوالي 1000 مرة علامة. بعد 1000 تكرار، يمكننا التأكد غالبًا من أن النموذج يحتوي على تَقارب.

في الأشكال التالية، نرسم النموذج في ثلاث نقاط أثناء التطبيق العملية: البداية والوسط والنهاية. تصور حالة النموذج على لقطات أثناء عملية التدريب، يعزز الرابط بين تحديث الأوزان والتحيز وتقليل الخسارة وتقارب النموذج.

في الأشكال، نستخدم الترجيحات والانحياز الناتج في تكرار معين لتمثيل النموذج. في الرسم البياني الذي يتضمن نقاط البيانات ولقطة النموذج، وخطوط الخسارة الزرقاء من النموذج إلى نقاط البيانات مقدار الخسارة. تشير رسالة الأشكال البيانية كانت الخطوط أطول، زادت الخسارة.

وفي الشكل التالي، يمكننا أن نرى أنه بالتكرار الثاني للنموذج لن يكون جيدًا في إجراء التنبؤات بسبب مقدار الخسارة الكبير.

الشكل 14. منحنى الخسارة ولقطة النموذج في بداية عملية التدريب.

وفي التكرار 400 تقريبًا، يمكننا أن نرى أن انحدار التدرج قد وجد الوزن والتحيز اللذان ينتجان نموذجًا أفضل.

الشكل 15. منحنى الخسارة ولقطة للنموذج حول منتصف الطريق خلال التدريب.

وعند التكرار الألف تقريبًا، يمكننا أن نرى أن النموذج قد تقارب، إنتاج نموذج بأقل خسارة محتملة.

الشكل 16. منحنى الخسارة ولقطة الشاشة عند اقتراب نهاية التدريب الدفع.

تمرين: التحقق من فهمك

ما دور خورازمية انحدار التدرج في الانحدار الخطي؟

وخورازمية انحدار التدرج هي عملية تكرارية تتوصل إلى أفضل النتائج الأوزان والتحيز التي تقلل من الخسارة.

ويساعد انحدار التدرج في تحديد نوع الخسارة التي ينبغي استخدامها عند تدريب نموذج، مثل L₁ أو L₂.

لا تؤثر انحدار التدرج في تحديد الخسارة لتدريب النموذج.

تزيل انحدار التدرج القيم المتطرفة من مجموعة البيانات لمساعدة النموذج وإجراء تنبؤات أفضل.

لا تغير انحدار التدرج مجموعة البيانات.

دوال التقارب والمحدبة

وتنتج دوال الخسارة في النماذج الخطية دائمًا محدّب. نتيجة هذه الخاصية، فعندما يتقارب نموذج الانحدار الخطي، فإننا نعلم أن النموذج الأوزان والتحيز الذي ينتج عنه أقل قدر من الخسارة.

إذا رسمنا سطح الخسارة لأي نموذج ذي خاصية واحدة، يمكننا رؤية شكل محدب. في ما يلي سطح الخسارة لمجموعة بيانات الأميال لكل غالون المستخدمة في الأمثلة السابقة. يقع الوزن على المحور س، والتحيز على المحور ص، والخسارة على المحور z:

الشكل 17. سطح فقدان البيانات الذي يُظهر شكله المحدب

في هذا المثال، ينتج عن الوزن -5.44 والانحياز 35.94 أقل خسارة في 5.54:

الشكل 18. سطح فقدان البيانات الذي يُظهر قيم الوزن والانحياز التي تنتج بأقل خسارة.

يتقارب النموذج الخطي عند إيجاد الحد الأدنى من الخسارة. لذلك، تكون تؤدي التكرارات فقط إلى نقل خورازمية انحدار التدرج لتحريك قيم الوزن والتحيز في مبالغ صغيرة جدًا حول الحد الأدنى. إذا رسمنا الأوزان ونقاط التحيز في رسم بياني أثناء انحدار التدرج، تبدو النقاط مثل كرة تتدحرج على تل، التوقف أخيرًا عند النقطة التي لم يعد فيها انحدار إلى أسفل.

الشكل 19. رسم بياني لنسبة الخسارة يوضّح نقاط انحدار التدرج التي تتوقف عند الحد الأدنى على الرسم البياني.

لاحظ أن نقاط الخسارة السوداء تنشئ الشكل الدقيق لمنحنى الخسارة: الانخفاض الحاد قبل أن تنحدر تدريجيًا إلى أن تصل إلى أدنى قيمة نقطة على سطح الخسارة.

من المهم ملاحظة أن النموذج لا يعثر أبدًا على النتيجة الدقيقة الحد الأدنى لكل وزن وتحيز، ولكن بدلاً من ذلك تجد قيمة قريبة جدًا منها. من المهم أيضًا ملاحظة أن الحد الأدنى للأوزان والتحيز لا مع الخسارة الصفرية، فقط القيمة التي ينتج عنها أقل خسارة لذلك .

استخدام قيم الوزن والتحيز التي تنتج أقل نسبة خسارة - وهي في هذه الحالة بوزن 5.44- وانحراف 35.94، يمكننا رسم النموذج بيانيًا لمعرفة كيف لأنها تناسب البيانات:

الشكل 20. إنشاء رسم بياني باستخدام قيم الوزن والانحياز التي تنتج بأقل خسارة.

سيكون هذا هو أفضل نموذج لمجموعة البيانات هذه لأنه لا يوجد وزن وتحيز آخر تُنتج نموذجًا بنسبة خسارة أقل.

المصطلحات الرئيسية:

• التقارب
• الدالة المحدبة
• انحدار التدرج
• التكرار
• منحنى الخسارة