本頁面由 Cloud Translation API 翻譯而成。

線性迴歸：梯度下降法

梯度下降法是反覆找出產生權重和偏誤的數學技巧損失最低的模型梯度下降法會找出最佳的權重和偏誤可以重複下列程序，為使用者定義的疊代作業。

模型會以接近零的隨機權重和偏誤開始訓練然後重複執行下列步驟：

根據目前的權重和偏誤計算損失。
判斷移動權重和偏誤以減少損失的方向。
將權重和偏誤值移到較低方向，損失
回到步驟 1 並重複這個程序，直到模型無法降低因此會損失。

下圖概述疊代步驟梯度下降法執行的結果以最低的損失產生模型的權重與偏誤。

圖 12.插圖：梯度下降法程序。

圖 12. 梯度下降法是反覆調整的過程以最低的損失產生模型

按一下加號圖示，即可進一步瞭解梯度下降法背後的數學方法。

在具體的層級中，我們可以逐步完成梯度下降法步驟使用一個小型資料集，內含七個範例車輛的重度 (磅) 和每加侖的里程數：

1000 年代英鎊 (地圖項目)	每加侖英里 (標籤)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

模型會先將權重和偏誤設為零，開始訓練：

$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$

使用目前的模型參數計算 MSE 損失：

$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$

計算各權重的損切斜率和偏誤：

$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

按一下加號圖示，即可瞭解如何計算斜率。

為取得與體重的切線點，我們會採用損失函數的導數然後解決各種方程式

我們將寫出用來進行預測的方程式：
$ f_{w,b}(x) = (寬*x)+b $。

實際值的格式應為 $ y $。

我們會使用：
計算 MSE $ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
其中 $i$ 代表 $ith$ 訓練範例，$M$ 代表和樣本數量

權重導數

權重的損失函式導數寫法為：
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

評估為：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

首先，將每個預測值減去實際值再乘以特徵值的兩倍接著，我們將總和除以樣本數量。結果是該值的斜切線斜率權重值

如果我們解開這個方程式的權重和偏誤我們得到 -119.7 的線條斜率。

生物導數

與偏誤的寫法為：
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

評估為：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

首先，將每個預測值減去實際值再乘以二接著將總和除以和樣本數量結果就是線條的斜率與偏誤值的正切值

如果我們解開這個方程式的權重和偏誤我們得到 -34.3 的線條斜率。

只要在負斜率的方向上微調一點值，即可取得下一個權重和偏誤現在，我們會任意定義「少量」例如 0.01：

$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

使用新的權重和偏誤來計算損失與重複。完成中我們會得到以下權重、偏誤和損失：