لتدريب أي نموذج، فإننا بحاجة إلى وسيلة جيدة للحد من خسارة النموذج. النهج التكراري هو إحدى الطرق المستخدمة على نطاق واسع لتقليل الخسارة، وهي سهلة وفعالة مثل المشي على تل.
تقليل الخسارة
كيف تقلل من الخسارة؟
- المعلَمات الفائقة هي إعدادات الضبط المستخدَمة لضبط كيفية تدريب النموذج.
- يشير المشتق من (y - y')2 في ما يتعلق بالأوزان والانحيازات إلى تغيُّر الخسارة في مثال معيّن.
- سهلة الحساب والتحكُّم
- ولذلك فنحن نتخذ بشكل متكرر خطوات صغيرة في الاتجاه الذي يقلل من الخسارة.
- نحن نطلق على هذه الخطوات الخطوات المتدرجة (لكنها خطوات متدرجة سلبية حقًا)
- تُسمى هذه الإستراتيجية انحدار التدرج
مخطط الكتلة للانحدار التدرجي
- يمكنك تجربة تمرين النزول المتدرج
- عند الانتهاء من التمرين، اضغط على زر التشغيل ▶ للمتابعة.
إعداد الوزن
- بالنسبة إلى المسائل المحدبة، يمكن أن تبدأ الأوزان من أي مكان (على سبيل المثال، جميع صفر).
- محدب: فكر في شكل وعاء
- واحد فقط كحد أدنى
إعداد الوزن
- بالنسبة إلى المسائل المحدبة، يمكن أن تبدأ الأوزان من أي مكان (على سبيل المثال، جميع صفر).
- محدب: فكر في شكل وعاء
- واحد فقط كحد أدنى
- التظليل: ليس صحيحًا بالنسبة إلى الشبكات العصبية
- غير محدب: فكر في قفص بيض
- أكثر من حد أدنى واحد
- اعتماد كبير على القيم الأولية
دولار سنغافوري ونزول متدرج على مجموعات صغيرة
- يمكن حساب التدرج على مجموعة بيانات كاملة في كل خطوة، ولكن اتضح أن هذا غير ضروري
- ينتج عن حساب التدرج في عيّنات البيانات الصغيرة أداءً جيدًا
- في كل خطوة، احصل على عينة عشوائية جديدة
- الانحدار المتدرج العشوائي: مثال واحد في كل مرة
- نزول متدرج صغير: مجموعات من 10 إلى 1000
- يتم احتساب متوسط نسبة الخسارة والتدرجات على كل دُفعة.