2024 年 8 月に、機械学習集中講座の改良された新しいバージョンがリリースされます。今後の情報にご注目ください。
演習 1
スライダーで 0.03 の学習率を設定します。勾配降下法アルゴリズムが損失曲線の最小ポイントに達するまで、[ステップ] ボタンを押し続けます。何歩、歩きましたか?
解決策
勾配降下法は、40 ステップでカーブの最小値に達します。
演習 2
学習率を高めて、より早く最小限の目標を達成することはできますか?学習率を 0.1 に設定し、勾配降下法が最小になるまでステップを続けます。今回はどのくらいの歩数が必要でしたか?
解決策
勾配降下法は、11 ステップで曲線の最小値に達します。
演習 3
さらに学習率を高めるにはどうすればよいでしょうか。グラフをリセットして学習率を 1 に設定し、損失曲線の最小値に到達するようにします。今回は何が起こったのでしょうか。
解決策
勾配降下法が下限に達することはありません。その結果、ステップのサイズが徐々に大きくなります。各ステップがボウルを上下に跳ね上がり、下に下がるのではなく曲線を登ります。
オプションのチャレンジ
勾配降下法が最小ステップ数で最小点に到達する、この曲線の Goldilocks の学習率を探します。最小ステップまでに必要なステップ数はいくつですか。
解決策
このデータの Goldilocks の学習率は 0.2 ~ 0.3 で、3 ~ 4 ステップで最小に達します。
注: 実際には、モデルのトレーニングを成功させるために「完璧」(またはほぼ完全)の学習率を見つけることは必須ではありません。目標は、勾配降下法が効率的に収束するのに十分な大きさの学習率を見つけることですが、収束することがないほど大きくありません。