逻辑回归:计算概率

许多问题需要将概率估算值作为输出。逻辑回归是一种非常高的概率计算机制。实际上,您可以通过以下两种方式之一使用返回的概率:

  • 原样
  • 已转换为二元类别。

我们来了解一下如何“按原样”使用概率。假设我们创建一个逻辑回归模型来预测狗在半夜发出叫声的概率。我们将这一概率称为:

\[p(bark | night)\]

如果逻辑回归模型预测到 \(p(bark | night) = 0.05\),那么一年内,狗狗的主人应该被惊醒约 18 次:

\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]

在许多情况下,您需要将逻辑回归输出映射到二元分类问题,其中目标是正确预测两个可能的标签之一(例如,“垃圾邮件”或“不是垃圾邮件”)。后续模块会重点介绍这一点。

您可能想知道逻辑回归模型如何确保输出值始终介于 0 和 1 之间。巧合的是,S 型函数会产生如下具有相同特征的输出(定义如下):

$$y = \frac{1}{1 + e^{-z}}$$

S 型函数生成以下图表:

S 型函数。x 轴是原始推断值。y 轴从 0 扩展到 +1(不含 0)。

图 1:S 型函数。

如果 \(z\) 表示使用逻辑回归训练的模型的线性层的输出,则 \(sigmoid(z)\) 将生成一个介于 0 和 1 之间的值(概率)。用数学方式表示:

$$y' = \frac{1}{1 + e^{-z}}$$

其中:

  • \(y'\) 是特定示例的逻辑回归模型的输出。
  • \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
    • \(w\) 值是模型学习的权重, \(b\) 是偏差。
    • \(x\) 值是特定样本的特征值。

请注意, \(z\) 也称为对数几率,因为 S 型函数的逆函数 \(z\) 可定义为 \(1\) 标签概率的对数(例如,“狗吠声”除以“ \(0\)”标签的概率(例如,&got;狗不会发出叫声):

$$ z = \log\left(\frac{y}{1-y}\right) $$

以下是带有机器学习标签的 S 型函数:

S 型函数将 x 轴标记为所有权重和特征(以及偏差)的总和;y 轴标记为概率输出。

图 2:逻辑回归输出。