Установите скорость обучения 0,03 на ползунке. Продолжайте нажимать кнопку STEP, пока алгоритм градиентного спуска не достигнет минимальной точки кривой потерь. Сколько шагов он сделал?
Решение
Градиентный спуск достигает минимума кривой за 40 шагов.
Упражнение 2
Можете ли вы достичь минимума быстрее с более высокой скоростью обучения? Установите скорость обучения 0,1 и продолжайте нажимать STEP, пока градиентный спуск не достигнет минимума. Сколько шагов он сделал на этот раз?
Решение
Градиентный спуск достигает минимума кривой за 11 шагов.
Упражнение 3
Как насчет еще большей скорости обучения. Сбросьте график, установите скорость обучения 1 и попытайтесь достичь минимума кривой потерь. Что случилось на этот раз?
Решение
Градиентный спуск никогда не достигает минимума . В результате шаги постепенно увеличиваются в размерах. Каждый шаг прыгает взад и вперед по чаше, поднимаясь по кривой, а не спускаясь на дно.
Необязательный вызов
Можете ли вы найти скорость обучения Златовласки для этой кривой, где градиентный спуск достигает минимальной точки за наименьшее количество шагов? Какое наименьшее количество шагов нужно сделать, чтобы достичь минимума?
Решение
Скорость обучения Златовласки для этих данных находится где-то между 0,2 и 0,3, что позволяет достичь минимума за три или четыре шага.
ПРИМЕЧАНИЕ. На практике найти «идеальную» (или почти идеальную) скорость обучения не обязательно для успешного обучения модели. Цель состоит в том, чтобы найти скорость обучения, достаточно большую, чтобы градиентный спуск эффективно сходился, но не настолько большую, чтобы он никогда не сходился.