モデルをトレーニングするには、モデルの損失を削減する適切な方法が必要です。反復アプローチは損失を削減するために広く使用されている方法の 1 つであり、丘を歩くのと同じくらい簡単で効率的です。
損失の低減
損失を減らすにはどうすればよいか
- ハイパーパラメータは、モデルのトレーニング方法を調整するための構成設定です。
- 重みとバイアスに関する (y - y')2 の導関数から、ある例における損失がどのように変化するかがわかります。
- コンピューティングが容易でコンベックス
- そこで、損失が最小になる方向に小さなステップを
- これを勾配ステップと呼びます(実際には負の勾配ステップ)
- この戦略を勾配降下法と呼びます。
勾配降下法のブロック図
- 勾配降下法の演習を試す
- エクササイズが終了したら、再生 ▶ を押して続行してください
重みの初期化
- 凸問題の場合、重みはどこにでも開始できる(たとえば、すべて 0)
- 凸形状: お皿の形状を考える
- 最低 1 つのみ
重みの初期化
- 凸問題の場合、重みはどこにでも開始できる(たとえば、すべて 0)
- 凸形状: お皿の形状を考える
- 最低 1 つのみ
- 予測: ニューラル ネットには当てはまらない
- 非凸形: 卵箱を思い浮かべてください
- 最小値を超えています
- 初期値への強い依存
SGD とミニバッチ勾配降下法
- 各ステップでデータセット全体の勾配を計算できますが、その必要はありませんでした
- 小規模なデータサンプルに対する勾配計算がうまく機能する
- 各ステップで新しいランダムなサンプルを取得する
- 確率的勾配降下法: 一度に 1 つの例
- ミニバッチの勾配降下法: 10 ~ 1,000 のバッチ
- バッチで損失と勾配が平均化される