本单元介绍了线性回归概念。
线性回归是一种统计方法,用于发现变量之间的关系。在机器学习背景下,线性回归可找出特征与标签之间的关系。
例如,假设我们想要根据汽车的重量预测汽车的每加仑汽油行驶里程(mpg),并且我们有以下数据集:
以千计的英镑(功能) | 每加仑英里(标签) |
---|---|
3.5 | 18 |
3.69 | 15 |
3.44 | 18 |
3.43 | 16 |
4.34 | 15 |
4.42 | 14 |
2.37 | 24 |
如果我们绘制这些点,会得到以下图表:
图 1. 汽车重量(以磅为单位)与每加仑汽油行驶英里数评级。随着汽车变重,其每加仑汽油行驶里程通常会降低。
我们可以通过通过这些点绘制一条最优拟合线来创建自己的模型:
图 2. 通过上图中的数据绘制的最佳拟合线。
线性回归方程
用代数学术语来讲,该模型可定义为 $ y = mx + b $,其中
- $ y $ 是每加仑行驶英里数,即我们要预测的值。
- $ m $ 是线条的斜率。
- $ x $ 是英镑,即我们的输入值。
- $ b $ 是 y 轴截距。
在机器学习中,我们可以将线性回归模型的方程写为:
其中:
- $ y' $ 是预测的标签,即输出。
- $ b $ 是模型的偏差。偏差与线性代数方程中的 y 截距的概念相同。在机器学习中,偏差有时称为 $ w_0 $。偏差是模型的参数,在训练期间计算得出。
- $ w_1 $ 是特征的权重。权重与线性代数方程中的斜率 $ m $ 的概念相同。权重是模型的参数,在训练期间计算得出。
- $ x_1 $ 是特征,即输入。
在训练过程中,模型会计算可生成最佳模型的权重和偏差。
图 3. 线性模型的数学表示法。
在我们的示例中,我们将根据所绘制线条计算权重和偏差。偏差为 30(线条与 y 轴的交点),权重为 -3.6(线条的斜率)。该模型将定义为 $ y' = 30 + (-3.6)(x_1) $,我们可以使用它进行预测。例如,使用此模型,一辆重 4,000 磅的汽车的预测油耗为每加仑汽油行驶 15.6 英里。
图 4. 使用该模型,一辆重 4,000 磅的汽车的预测油耗为每加仑 15.6 英里。
具有多个特征的模型
虽然本部分的示例仅使用一项特征(汽车的重量),但更复杂的模型可能依赖于多项特征,每项特征都有一个单独的权重 ($ w_1 $、$ w_2 $ 等)。例如,具有五个特征的模型将如下所示:
$ y' = b + w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + w_5x_5 $
例如,用于预测油耗的模型还可以使用以下特征:
- 发动机排气量
- 加速性能
- 气缸数量
- 马力
此模型的编写方式如下:
图 5. 一个包含五个特征的模型,用于预测汽车的每加仑汽油能行驶的英里数。
通过绘制这些其他特征的图表,我们可以看到它们也与标签“每加仑行驶里程数”之间存在线性关系:
图 6. 汽车的排气量(以立方厘米为单位)和每加仑的英里数。随着汽车发动机的增大,其每加仑的英里数评级通常会降低。
图 7. 汽车的加速度和每加仑英里数。随着汽车加速时间的延长,每加仑汽油行驶里程通常会增加。
图 8. 汽车的马力和每加仑英里数。随着汽车马力的增加,每加仑的英里数评级通常会降低。