Чтобы обучить модель, нам нужен хороший способ уменьшить потери модели. Итеративный подход — один из широко используемых методов сокращения потерь, он так же прост и эффективен, как спуск с холма.
Сокращение потерь
Как нам уменьшить потери?
Гиперпараметры — это параметры конфигурации, используемые для настройки обучения модели.
Производная от (y - y') 2 по весам и смещениям говорит нам, как меняются потери для данного примера.
Просто вычислить и выпукло
Поэтому мы неоднократно делаем небольшие шаги в направлении, минимизирующем потери.
Мы называем это шагами градиента (но на самом деле это шаги отрицательного градиента).