机器学习速成课程的全新改进版本将于 2024 年 8 月推出。敬请期待!
练习 1
将滑块上的学习速率设置为 0.03。不断按“步骤”按钮,直到梯度下降法算法到达损失曲线的最低点。完成了多少步?
解决方案
梯度下降法到达曲线的最低点需要 40 步。
练习 2
较高的学习速率可以更快地达到最低值吗?将学习速率设为 0.1,继续按 STEP 键,直到梯度下降法达到最小值。这次走了多少步?
解决方案
梯度下降法到达曲线的最低点需要 11 步。
练习 3
更大的学习速率会怎么样。重置图表,将学习速率设为 1,并尝试达到损失曲线的最小值。这次发生了什么情况?
解决方案
梯度下降法从未到达最低点。因此,步数会逐渐增大。每一步都在碗中来回跳转,攀登曲线,而不是下降到底部。
可选挑战
您能否为该曲线找到金发姑娘般刚刚好的学习速率,让梯度下降法以最少的步数到达最低点?达到最低数量要求所需的最少步骤数是多少?
解决方案
这些数据的 Goldilocks 学习速率介于 0.2 和 0.3 之间,只需三到四个步骤即可达到最小值。
注意:在实践中,找到“完美”(或接近完美)的学习速率对成功训练模型并非必不可少。我们的目标是找到一个足够高的学习速率,使梯度下降法能够高效收敛,但又不会变得太大以至于永远不会收敛。