線性迴歸：漸層下降運動

在本練習中，您將重溫參數練習中的燃油效率資料圖表。但這次您將使用梯度下降法，為最小化損失的線性模型學習最佳權重和偏差值。

完成圖表下方的三項工作。

如果設為高學習率，這種互動式圖表可能會產生閃爍的視覺效果，而這可能會影響到光敏感的人。

任務 #1：調整圖表下方的「Learning Rate」(學習率) 滑桿，將學習率設為 0.03。按一下「Start」按鈕，執行梯度下降法。

模型訓練需要多久時間才能收斂 (達到穩定的最低損失值)？模型收斂時的 MSE 值為何？哪些權重和偏差值會產生這個值？

按一下加號圖示即可查看我們的解決方案

當我們將學習率設為 0.03 時，模型會在大約 30 秒後收斂，MSE 值會略低於 3，權重和偏差值分別為 –2.08 和 23.098。這表示我們已選擇合適的學習率值。

注意：每次載入網頁時，圖表中的資料點都會略有不同，因此這裡的解決方案可能會與我們的略有不同。

工作 2：按一下圖表下方的「Reset」按鈕，重設圖表中的「Weight」和「Bias」值。將「Learning Rate」滑桿調整為 1.10e^–5 左右的值。按一下「Start」按鈕可執行梯度下降法。

這次模型訓練的收斂時間有什麼不同嗎？

按一下加號圖示即可查看解決方案

幾分鐘後，模型訓練仍未收斂。即便更新權重和偏誤值，損失值仍會略低。這表示選擇較高的學習率，可讓梯度下降法更快找到最佳的權重和偏差值。

任務 3：按一下圖表下方的「Reset」按鈕，即可重設圖表中的「Weight」和「Bias」值。將「學習率」滑桿向上調整至 1。按一下「Start」按鈕，執行梯度下降法。

梯度下降執行時，損失值會發生什麼事？這次模型訓練需要多久時間才能完成？

按一下加號圖示即可查看解決方案

損失值在高值時大幅波動 (MSE 超過 300)。這代表學習率過高，且模型訓練永遠無法達到收斂。