ตามที่แจ้งไว้ เวกเตอร์การไล่ระดับสีจะมีทั้งทิศทางและขนาด อัลกอริทึมการไล่ระดับสีแบบไล่ระดับสีจะคูณการไล่ระดับสีด้วยสเกลาร์ที่เรียกว่าอัตราการเรียนรู้ (บางครั้งเรียกว่าขนาดขั้น) เพื่อกำหนดจุดถัดไป เช่น ถ้าขนาดการไล่ระดับสีคือ 2.5 และอัตราการเรียนรู้คือ 0.01 อัลกอริทึมการลดการไล่ระดับสีจะเลือกจุดถัดไปให้ห่างจากจุดก่อนหน้า 0.025
ไฮเปอร์พารามิเตอร์คือความสามารถที่โปรแกรมเมอร์ปรับแต่งในอัลกอริทึมแมชชีนเลิร์นนิง โปรแกรมเมอร์ที่ใช้แมชชีนเลิร์นนิงส่วนใหญ่ ใช้เวลาพอสมควรในการปรับปรุงอัตราการเรียนรู้ ถ้าคุณเลือกอัตราการเรียนรู้ที่น้อยเกินไป การเรียนรู้ก็จะใช้เวลานานเกินไป
รูปที่ 6 อัตราการเรียนรู้น้อยเกินไป
ในทางกลับกัน หากคุณระบุอัตราการเรียนรู้ที่มีขนาดใหญ่เกินไป จุดถัดไปจะตีกลับอย่างต่อเนื่องไปที่ด้านล่างของส่วนล่างของบ่อน้ำ เช่น การทดลองกลศาสตร์ควอนตัมที่ผิดพลาดอย่างมาก
รูปที่ 7 อัตราการเรียนรู้สูงเกินไป
จะมีอัตราการเรียนรู้ Goldilocks สำหรับโจทย์การถดถอยทุกครั้ง ค่า Goldilocks สัมพันธ์กับค่าคงที่ของฟังก์ชันการสูญเสีย หากคุณทราบว่าการไล่ระดับสีของฟังก์ชันการสูญเสียมีค่าน้อย คุณอาจลองใช้อัตราการเรียนรู้ที่สูงขึ้นได้อย่างปลอดภัย ซึ่งจะชดเชยการไล่ระดับสีขนาดเล็กและส่งผลให้ขั้นตอนมีขนาดใหญ่ขึ้น
รูปที่ 8 อัตราการเรียนรู้อยู่ในระดับที่เหมาะสม