此页面由 Cloud Translation API 翻译。

线性回归：梯度下降

梯度下降法 一种以迭代方式找出产生权重和偏差的数学技术选择损失最低的模型。梯度下降法找到最佳权重和偏差重复以下过程进行多次用户定义的迭代。

模型开始训练时使用接近于零的随机权重和偏差，然后重复以下步骤：

使用当前权重和偏差计算损失。
确定用于减少损失的权重和偏差的移动方向。
在减小权重的方向上移动权重和偏差值损失。
返回第 1 步并重复该过程，直到模型无法减少损失。

下图概述了梯度下降法为找到使模型产生损失最低的权重和偏差。

图 12. 梯度下降过程的图示。

图 12. 梯度下降法是一个迭代过程，和偏差，从而生成损失最低的模型。

点击加号图标可详细了解梯度下降法背后的数学原理。

在具体层面上，我们可以详细讲解梯度下降法的步骤。使用包含七个示例汽车重量（磅）的小型数据集以及每加仑英里数的评级：

千磅（功能）	每加仑英里（标签）
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

在开始训练时，模型会将权重和偏差设置为零：

$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$

使用当前模型参数计算 MSE 损失：

$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$

计算每个权重损失函数的正切斜率和偏差：

$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

点击加号图标，了解如何计算斜率。

要计算直线与权重正切的斜率，我们将损失函数的导数为再求解等式。

我们将用于进行预测的方程式写为：
$ f_{w,b}(x) = (w*x)+b $。

我们将写出实际值：$ y $。

我们将使用以下公式计算 MSE：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
其中 $i$ 表示 $ith$ 训练样本，$M$ 表示样本数量。

权重导数

损失函数相对于权重的导数写为：
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

求得的值为：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

首先，我们将每个预测值相加减去实际值再乘以特征值两倍。然后，用总和除以样本数。所得结果是直线与该值正切的斜率权重。

如果我们用权重和偏差等于 0，则直线的斜率为 -119.7。

偏导导数

损失函数相对于偏差写为：
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

求得的值为：
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

首先，我们将每个预测值相加减去实际值然后乘以二。然后用总和除以数量。结果就是直线的斜率与偏差值正切。

如果我们用权重和偏差等于 0，则直线的斜率为 -34.3。

沿负斜率的方向移动一小步，就得到下一个权重和偏差。现在，我们随意定义 “small amount”设为 0.01：

$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

使用新的权重和偏差来计算损失和重复次数。正在完成经过六次迭代的过程，我们就会得到以下权重、偏差，和损失：