減少損失：最佳化學習率

預計時間：15 分鐘

運動 1

將滑桿中的學習率設為 0.03。持續按 STEP 按鈕，直到梯度下降演算法達到損失曲線的最小點。需要多少步？

解決方案

漸層遞減數會在 40 步內到達曲線的最小值。

運動 2

提高學習率可以更快達到最低限度嗎？將學習率設為 0.1，並持續按 STEP，直到梯度下降到最小為止。這次需要多少步？

解決方案

梯度下降表示曲線在 11 步以內達到最小最小值。

運動 3

學習速度更勝以往重設圖形，將學習率設為 1，嘗試達到損失曲線的最小值。這次發生什麼事？

解決方案

梯度下降永不達到最小值。因此，步數會逐步增加。每個步驟會在碗上來回跳動，攀爬曲線，而非下降。

自選挑戰

你能找到這個曲線的 Goldilocks 學習率，其中梯度下降表示在最少的步驟中到達最低點了嗎？達到最低步數的必要步驟為何？

解決方案

這項資料的 Goldilocks 學習率介於 0.2 到 0.3 之間，將達成三或四步的下限。

注意：實務上，尋找「完美」(或接近完美) 學習率並不是成功模型訓練的關鍵。我們的目標是找到一個夠大的學習率，這樣漸層溫度會以有效率的方式融合，但不會讓其收縮。