وكما أشرنا، فإن متجه التدرج له اتجاه ومقدار. تضرب خوارزميات انحدار التدرج التدرج في مقياس يُعرف بمعدل التعلّم (يسمى أيضًا حجم الخطوة) لتحديد النقطة التالية. فعلى سبيل المثال، إذا كان مقدار التدرج 2.5 وكان معدل التعلم 0.01، فستختار خوارزمية انحدار التدرج النقطة التالية بمقدار 0.025 بعيدًا عن النقطة السابقة.
المعلَمات الفائقة هي الأجزاء التي يعدّلها المبرمجون في خوارزميات التعلّم الآلي. يقضي معظم مبرمجي التعلم الآلي وقتًا معقولاً في ضبط معدل التعلم. إذا اخترت معدل تعلم صغيرًا جدًا، فسيستغرق التعلم وقتًا طويلاً:
الشكل 6. معدّل التعلّم صغير جدًا.
وعلى العكس من ذلك، إذا حددت معدل تعلم أكبر من اللازم، فسوف ترتد النقطة التالية بشكل عشوائي عبر أسفل البئر كما أن تجربة ميكانيكا الكم سارت بشكل خاطئ:
الشكل 7. معدّل التعلّم كبير جدًا.
هناك معدّل تعلُّم Goldilocks لكل مشكلة انحدار. ترتبط قيمة دالة الخسارة بمدى استواء دالة الخسارة. إذا كنت تعلم أن تدرج دالة الخسارة صغير، يمكنك بأمان تجربة معدل تعلم أكبر، والذي يعوض التدرج الصغير وينتج عنه حجم خطوة أكبر.
الشكل 8. ومعدّل التعلّم مناسب تمامًا.