本单元介绍了线性回归概念。
线性回归是一种统计方法，用于发现变量之间的关系。在机器学习背景下，线性回归可找出特征与标签之间的关系。
例如，假设我们想要根据汽车的重量预测汽车的每加仑汽油行驶里程（mpg），并且我们有以下数据集：
| 以千计的英镑（功能） | 每加仑英里（标签） |
|---|---|
| 3.5 | 18 |
| 3.69 | 15 |
| 3.44 | 18 |
| 3.43 | 16 |
| 4.34 | 15 |
| 4.42 | 14 |
| 2.37 | 24 |
如果我们绘制这些点，会得到以下图表：
图 1. 汽车重量（以磅为单位）与每加仑汽油行驶英里数评级。随着汽车变重，其每加仑汽油行驶里程通常会降低。
我们可以通过通过这些点绘制一条最优拟合线来创建自己的模型：
图 2. 通过上图中的数据绘制的最佳拟合线。
线性回归方程
用代数学术语来讲，该模型可定义为 $ y = mx + b $，其中
- $ y $ 是每加仑行驶英里数，即我们要预测的值。
- $ m $ 是线条的斜率。
- $ x $ 是英镑，即我们的输入值。
- $ b $ 是 y 轴截距。
在机器学习中，我们可以将线性回归模型的方程写为：
其中：
- $ y' $ 是预测的标签，即输出。
- $ b $ 是模型的偏差。偏差与线性代数方程中的 y 截距的概念相同。在机器学习中，偏差有时称为 $ w_0 $。偏差是模型的参数，在训练期间计算得出。
- $ w_1 $ 是特征的权重。权重与线性代数方程中的斜率 $ m $ 的概念相同。权重是模型的参数，在训练期间计算得出。
- $ x_1 $ 是特征，即输入。
在训练过程中，模型会计算可生成最佳模型的权重和偏差。
图 3. 线性模型的数学表示法。
在我们的示例中，我们将根据所绘制线条计算权重和偏差。偏差为 30（线条与 y 轴的交点），权重为 -3.6（线条的斜率）。该模型将定义为 $ y' = 30 + (-3.6)(x_1) $，我们可以使用它进行预测。例如，使用此模型，一辆重 4,000 磅的汽车的预测油耗为每加仑汽油行驶 15.6 英里。
图 4. 使用该模型，一辆重 4,000 磅的汽车的预测油耗为每加仑 15.6 英里。
具有多个特征的模型
虽然本部分的示例仅使用一项特征（汽车的重量），但更复杂的模型可能依赖于多项特征，每项特征都有一个单独的权重 ($ w_1 $、$ w_2 $ 等)。例如，具有五个特征的模型将如下所示：
$ y' = b + w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + w_5x_5 $
例如，用于预测油耗的模型还可以使用以下特征：
- 发动机排气量
- 加速性能
- 气缸数量
- 马力
此模型的编写方式如下：
图 5. 一个包含五个特征的模型，用于预测汽车的每加仑汽油能行驶的英里数。
通过绘制这些其他特征的图表，我们可以看到它们也与标签“每加仑行驶里程数”之间存在线性关系：
图 6. 汽车的排气量（以立方厘米为单位）和每加仑的英里数。随着汽车发动机的增大，其每加仑的英里数评级通常会降低。
图 7. 汽车的加速度和每加仑英里数。随着汽车加速时间的延长，每加仑汽油行驶里程通常会增加。
图 8. 汽车的马力和每加仑英里数。随着汽车马力的增加，每加仑的英里数评级通常会降低。