الانحدار الخطي: انحدار التدرج

التدرّج التنازلي هو أسلوب رياضي يحدِّد بشكلٍ متكرّر الأوزان والانحيازات التي تنتج النموذج الذي يحقّق أدنى خسارة. تجد انحدار التدرج أفضل وزن وتحيز من خلال تكرار العملية التالية لعدد من التكرارات التي يحددها المستخدم.

يبدأ النموذج في التدريب على الترجيحات والانحيازات العشوائية القريبة من الصفر، ثم يكرر الخطوات التالية:

1. احسب الخسارة من خلال الوزن الحالي والانحياز.

2. تحديد اتجاه تحريك الأوزان والتحيز الذي يقلل الخسارة

3. حرِّك قيم الوزن والانحياز بمقدار صغير في الاتجاه الذي يقلل من الخسارة.

4. ارجع إلى الخطوة الأولى وكرر العملية إلى أن يتعذّر على النموذج تقليل الخسارة.

يوضّح المخطّط البياني أدناه الخطوات المتكرّرة التي ينفّذها "التدرّج التنازلي" للعثور على الميول والأوزان التي تؤدي إلى إنشاء النموذج الذي يحقّق أدنى خسارة.

الشكل 12 إنّ "التدرّج التنازلي" هو عملية تكرارية تبحث عن الأوزان والتحيّز اللذَين ينتج عنهما النموذج الذي يحقّق أدنى خسارة.

انقر على رمز الإضافة لمعرفة المزيد من المعلومات عن العمليات الحسابية وراء انحدار التدرج.

على مستوى محدّد، يمكننا الاطّلاع على خطوات الانحدار التدرّجي باستخدام مجموعة بيانات صغيرة تتضمّن سبعة أمثلة على وزن السيارة بالكيلوغرام وتقييمها بالميل لكل جالون:

الرطل في 1000 (الميزة)	ميل لكل غالون (تصنيف)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

1. يبدأ النموذج في التدريب عن طريق ضبط الوزن والانحياز على صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. احتساب خسارة متوسط الخطأ التربيعي باستخدام مَعلمات النموذج الحالية:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. احتساب ميل الخط المماس لدالة الخسارة عند كل وزن والانحياز:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز الإضافة للتعرّف على كيفية احتساب الانحدار.

للحصول على انحدار الخطوط المماسية للوزن والانحياز، نأخذ مشتق دالة الخسارة وفقًا للوزن والانحياز، ثم نحلّ المعادلات.

سنكتب معادلة التوقّع على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

سنكتب القيمة الفعلية على النحو التالي: $ y $.

سنحسب متوسط خطأ التربيع باستخدام:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثّل $i$ المثال التدريبي $ith$ ويمثّل $M$ عدد الأمثلة.

مشتقّة الوزن

يتم كتابة مشتقّ دالة الخسارة بالنسبة إلى المُدخلات على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويُحتسب على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية ثم نضربها في ضعف قيمة السمة. بعد ذلك، نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس للقيمة للوزن.

إذا حللنا هذه المعادلة باستخدام وزن وميل يساويان الصفر، نحصل على قيمة -119.7 لميل الخط.

مشتقة الانحياز

يتم كتابة مشتق دالة الخسارة بالنسبة إلى التحيّز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمه على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية ثم نضربها في اثنين. بعد ذلك، نقسِم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط الذي يلامس قيمة الانحياز.

وإذا توصّلنا إلى حلّ هذه المعادلة بقياس وزن وانحياز مساوٍ للصفر، سنحصل على -34.3 من انحدار الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الانحدار السلبي للحصول على الوزن والميل التاليَين. في الوقت الحالي، سنعرّف بشكل عشوائي "المبلغ الصغير" على أنّه 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدِم الوزن والميل الجديدَين لاحتساب الخسارة والتكرار. عند إكمال العملية ست مرات، سنحصل على الأوزان والانحيازات والخسائر التالية:

التكرار	الوزن	الانحياز	الخسارة (MSE)
1	0	0	303.71
2	1.2	0.34	170.67
3	2.75	0.59	67.3
4	3.17	0.72	50.63
5	3.47	0.82	42.1
6	3.68	0.9	37.74

يمكنك ملاحظة أنّ الخسارة تنخفض مع كل وزن وميل معدَّلَين. في هذا المثال، توقّفنا بعد ستة تكرارات. في الممارسة العملية، يتم تدريب النموذج إلى أن يتم تقاربه. عندما يتقارب النموذج، لا تقلّل التكرارات الإضافية من الخسارة بشكلٍ أكبر لأنّ طريقة التدرج التنازلي قد عثرت على الأوزان والانحيازات التي تقريبًا تقلّل الخسارة إلى أدنى حدّ.

إذا استمرّ تدريب النموذج بعد النقطة التي يتقارب فيها، يبدأ فقدان الأداء في التقلّب بكميات صغيرة بينما يعدّل النموذج باستمرار المَعلمات حول أدنى قيمها. وقد يجعل ذلك من الصعب التحقّق من أنّ النموذج قد تقارب بالفعل. لتأكيد تقارب النموذج، عليك مواصلة التدريب إلى أن يصبح الفقد متوازنًا.

منحنيات التقارب والفقدان للنموذج

عند تدريب أحد النماذج، ستنظر غالبًا إلى منحنى الخسارة لتحديد ما إذا كان النموذج قد تقارب. يعرِض منحنى الخسارة كيفية تغيُّر الخسارة أثناء تدريب النموذج. في ما يلي شكل منحنى ملف تعريف الانحدار المعتاد. يظهر فقدان البيانات على المحور الصادي وعدد التكرارات على المحور السيني:

الشكل 13. منحنى الخسارة يُظهر النموذج الذي يتقارب حول علامة التكرار الـ 1,000

يمكنك أن ترى أن الخسارة تقل بشكل كبير خلال التكرارات القليلة الأولى، ثم تقل تدريجيًا قبل أن تستقر حوالي علامة 1000 تكرار. بعد 1,000 تكرار، يمكننا التأكّد إلى حدٍ كبير من أنّ النموذج تقارب.

في الأشكال التالية، نرسم النموذج بثلاث نقاط أثناء عملية التدريب: البداية والوسط والنهاية. من خلال عرض حالة النموذج في اللقطات أثناء عملية التدريب، يتم تعزيز الرابط بين تعديل الميول والأوزان وتقليل الخسارة وتقارب النموذج.

في الأشكال، نستخدم الترجيحات والانحياز الناتجين في تكرار معين لتمثيل النموذج. في الرسم البياني الذي يتضمّن نقاط البيانات وملخّص النموذج، تُظهر خطوط الخسارة الزرقاء من النموذج إلى نقاط البيانات مقدار الخسارة. وكلما زاد طول الأسطر، زادت الخسارة.

في الشكل التالي، يمكننا أن نرى أنّه في غضون الجولة الثانية، لن يكون النموذج جيدًا في إجراء التوقّعات بسبب ارتفاع مقدار الخسارة.

الشكل 14 منحنى الخسارة ولقطة نموذج في بداية عملية التدريب

في الدورة 400 تقريبًا، يمكننا أن نرى أنّ طريقة التدرج التنازلي قد عثرت على المَعلمة والميول اللذَين ينتج عنهما نموذج أفضل.

الشكل 15. منحنى الخسارة ولقطة نموذج في منتصف عملية التدريب تقريبًا

وعند تكرار العملية 1,000 مرة تقريبًا، يمكننا أن نرى أنّ النموذج قد تقارب، مما أدى إلى إنشاء نموذج يتضمن أدنى خسارة ممكنة.

الشكل 16. منحنى الخسارة ولقطة الشاشة للنموذج قرب نهاية عملية التدريب.

تمرين: التحقق من فهمك

ما هو دور خوارزمية انحدار التدرج في الانحدار الخطي؟

إنّ انحدار التدرج هو عملية تكرارية تبحث عن أفضل معاملات الترجيح والانحياز التي تقلّل الخسارة.

يساعد "التدرّج التنازلي" في تحديد نوع الخسارة التي يجب استخدامها عند تدريب نموذج، على سبيل المثال، L₁ أو L₂.

لا تؤثر خوارزمية انحدار التدرج في اختيار دالة الخسارة لتدريب النموذج.

تزيل طريقة التدرج التنازلي القيم الشاذة من مجموعة البيانات لمساعدة النموذج في إجراء تنبؤات أفضل.

لا يؤدي التدرّج إلى تغيير مجموعة البيانات.

الدوالّ المتقاربة والمحدّبة

تُنشئ دوالّ الخسارة للنماذج الخطية دائمًا سطحًا مقعرًا. نتيجةً لهذه الخاصية، عندما يتقارب نموذج الانحدار الخطي، نعرف أنّ النموذج عثر على الأوزان والانحيازات التي تؤدي إلى أدنى خسارة.

إذا رسمنا سطح الخسارة لنموذج يتضمّن سمة واحدة، يمكننا رؤية شكله المنحني. فيما يلي سطح الخسارة لمجموعة بيانات الأميال لكل غالون المستخدمة في الأمثلة السابقة. يظهر "الوزن" على المحور x، و"الانحياز" على المحور y، و"الخسارة" على المحور z:

الشكل 17. سطح فقدان البيانات الذي يُظهر شكله المحدب

في هذا المثال، ينتج عن الوزن -5.44 والانحياز 35.94 أقل خسارة عند 5.54:

الشكل 18 سطح الخسارة الذي يعرض قيم الوزن والانحياز التي تؤدي إلى تسجيل أدنى خسارة

يتقارب النموذج الخطي عند العثور على الحد الأدنى للخسارة. وبالتالي، فإنّ الدورات المتكررة الإضافية تؤدي فقط إلى أن ينقل "التدرّج التنازلي" قيم الوزن والانحياز بكميات متناهية الصغر حول الحد الأدنى. إذا رسمنا نقاط الأوزان والانحياز أثناء التدرّج التنازلي، ستبدو النقاط مثل كرة تتدحرج من تلة، وتتوقّف أخيرًا عند النقطة التي لا يتوفّر فيها أي ميل تنازلي.

الشكل 19 رسم بياني لنسبة الخسارة يُظهر نقاط انحدار التدرج عند أدنى نقطة في الرسم البياني

لاحظ أن نقاط الخسارة السوداء تنشئ الشكل الدقيق لمنحنى الخسارة: انخفاض حاد قبل الانحدار تدريجيًا إلى أسفل حتى تصل إلى أدنى نقطة على سطح الخسارة.

من المهمّ ملاحظة أنّ النموذج لا يعثر تقريبًا على القيمة الحدّ الأدنى لكلّ وزن وانحراف، بل يعثر بدلاً من ذلك على قيمة قريبة جدًا منها. من المهم أيضًا ملاحظة أنّ الحدّ الأدنى للقيم المعيارية والانحراف المعياري لا يتوافق مع صفر الخسارة، بل هو قيمة تؤدي فقط إلى أدنى خسارة لهذه المَعلمة.

باستخدام قيم الوزن والانحياز التي تؤدي إلى تحقيق أدنى خسارة، في هذه الحالة قيمة الوزن -5.44 وقيمة الانحياز 35.94، يمكننا إنشاء رسم بياني للنموذج لمعرفة مدى توافقه مع البيانات:

الشكل 20: قم بإنشاء نموذج رسم بياني باستخدام قيم الوزن والتحيز التي ينتج عنها أقل خسارة.

سيكون هذا هو أفضل نموذج لمجموعة البيانات هذه لأنه لا توجد قيم وزن وتحيز أخرى تنتج نموذجًا بفقدان أقل.

المصطلحات الرئيسية:

• التقارب
• دالّة محدّبة
• انحدار التدرج
• التكرار
• منحنى الخسارة