線性迴歸：梯度下降練習

在本練習中，您將重溫參數練習中的燃油效率資料圖表。但這次您將使用梯度下降法，為線性模型學習最佳的權重和偏差值，以便將損失降到最低。

完成圖表下方的三項工作。

如果將這個互動式圖表設定為高學習率，可能會產生閃爍的視覺效果，進而影響對光敏感的使用者。

任務 1：調整圖表下方的「Learning Rate」滑桿，將學習率設為 0.03。點選「Start」按鈕，執行梯度下降法。

模型訓練需要多久時間才能收斂 (達到穩定的最低損失值)？模型收斂時的 MSE 值為何？哪些權重和偏差值會產生這個值？

按一下加號圖示即可查看我們的解決方案

當我們將學習率設為 0.03 時，模型會在大約 30 秒後收斂，MSE 值會略低於 3，權重和偏差值分別為 –2.08 和 23.098。這表示我們已選擇合適的學習率值。

注意：每次載入網頁時，圖表中的資料點都會略有不同，因此這裡的解決方案可能會與我們的略有不同。

工作 2：按一下圖表下方的「Reset」按鈕，重設圖表中的「Weight」和「Bias」值。將「Learning Rate」滑桿調整為 1.10e^–5 左右的值。點選「Start」按鈕，執行梯度下降法。

這次模型訓練的收斂時間有什麼不同嗎？

按一下加號圖示即可查看解決方案

經過幾分鐘後，模型訓練仍未收斂。權重和偏差值的微小更新會持續導致損失值略微降低。這表示選擇較高的學習率，可讓梯度下降法更快找到最佳的權重和偏差值。

任務 3：按一下圖表下方的「Reset」按鈕，重設圖表中的 Weight 和 Bias 值。將「學習率」滑桿調整至 1。點選「Start」按鈕，執行梯度下降法。

梯度下降執行時，損失值會發生什麼事？這次模型訓練要多久才能收斂？

按一下加號圖示即可查看解決方案

損失值在高值時大幅波動 (MSE 超過 300)。 這表示學習率過高，模型訓練永遠無法收斂。