Như đã lưu ý, vectơ chuyển màu có cả hướng và độ lớn. Thuật toán giảm độ dốc nhân với độ dốc với một đại lượng vô hướng được gọi là tốc độ học tập (đôi khi còn gọi là kích thước bước) để xác định điểm tiếp theo. Ví dụ: nếu cường độ chuyển màu là 2,5 và tốc độ học là 0,01, thì thuật toán giảm độ dốc sẽ chọn điểm tiếp theo cách điểm trước đó 0,025.
Hyperparameter là các nút điều chỉnh mà các lập trình viên điều chỉnh trong các thuật toán học máy. Hầu hết các lập trình viên máy học đều dành một khoảng thời gian tương đối để điều chỉnh tốc độ học. Nếu bạn chọn một tốc độ học quá nhỏ, quá trình học sẽ mất quá nhiều thời gian:
Hình 6. Tốc độ học quá nhỏ.
Ngược lại, nếu bạn chỉ định tốc độ học quá lớn, thì điểm tiếp theo sẽ vĩnh viễn chuyển sang phần dưới cùng của giếng, giống như một thử nghiệm cơ học lượng tử đã gặp phải sai lầm nghiêm trọng:
Hình 7. Tốc độ học quá lớn.
Mỗi bài toán hồi quy đều có tỷ lệ học là Goldilocks. Giá trị Goldilocks liên quan đến độ phẳng của hàm suy giảm. Nếu biết độ dốc của hàm suy giảm nhỏ thì bạn có thể yên tâm thử tốc độ học lớn hơn, bù cho độ dốc nhỏ và dẫn đến kích thước bước lớn hơn.
Hình 8. Tốc độ học ở mức vừa phải.