在本練習中,您將重溫參數練習中的燃油效率資料圖表。但這次您將使用梯度下降法,為最小化損失的線性模型學習最佳權重和偏差值。
完成圖表下方的三項工作。
任務 #1:調整圖表下方的「Learning Rate」(學習率) 滑桿,將學習率設為 0.03。按一下「Start」按鈕,執行梯度下降法。
模型訓練需要多久時間才能收斂 (達到穩定的最低損失值)?模型收斂時的 MSE 值為何?哪些權重和偏差值會產生這個值?
按一下加號圖示即可查看我們的解決方案
當我們將學習率設為 0.03 時,模型會在大約 30 秒後收斂,MSE 值會略低於 3,權重和偏差值分別為 –2.08 和 23.098。這表示我們已選擇合適的學習率值。
工作 2:按一下圖表下方的「Reset」按鈕,重設圖表中的「Weight」和「Bias」值。將「Learning Rate」滑桿調整為 1.10e–5 左右的值。按一下「Start」按鈕可執行梯度下降法。
這次模型訓練的收斂時間有什麼不同嗎?
按一下加號圖示即可查看解決方案
幾分鐘後,模型訓練仍未收斂。即便更新權重和偏誤值,損失值仍會略低。這表示選擇較高的學習率,可讓梯度下降法更快找到最佳的權重和偏差值。
任務 3:按一下圖表下方的「Reset」按鈕,即可重設圖表中的「Weight」和「Bias」值。將「學習率」滑桿向上調整至 1。按一下「Start」按鈕,執行梯度下降法。
梯度下降執行時,損失值會發生什麼事?這次模型訓練需要多久時間才能完成?
按一下加號圖示即可查看解決方案
損失值在高值時大幅波動 (MSE 超過 300)。這代表學習率過高,且模型訓練永遠無法達到收斂。