逻辑回归

逻辑回归会生成一个概率(介于 0 和 1 之间,不包含 0 和 1),而不是精确预测 0 或 1。例如,考虑用于检测垃圾内容的逻辑回归模型。如果模型针对特定电子邮件推断出值为 0.932,则表示电子邮件是垃圾邮件的概率为 93.2%。更确切地说,这意味着在无限训练样本的极限情况下,模型预测其值为 0.932 的这组样本实际上有 93.2% 是垃圾邮件,其余 6.8% 不是垃圾邮件。

逻辑回归

  • 设想预测弯曲的硬币正面朝上的概率问题
  • 您可以使用弯曲角度、硬币质量等功能。
  • 您可以使用的最简单的模型是什么?
  • 什么情况下可能会发生问题?
2 个弯曲的硬币
  • 许多问题需要将概率估算值作为输出
  • 输入逻辑回归
  • 许多问题需要将概率估算值作为输出
  • 输入逻辑回归
  • 很方便,因为概率估算值已经过校准
    • 例如,p(房屋出售)* 价格 = 预期结果
  • 许多问题需要将概率估算值作为输出
  • 输入逻辑回归
  • 很方便,因为概率估算值已经过校准
    • 例如,p(房屋出售)* 价格 = 预期结果
  • 这在我们需要二元分类时也很有用
    • 是垃圾邮件还是非垃圾邮件?→ p(垃圾邮件)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

逻辑回归方程图

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

两个对数损失与预测值的图表:一个表示目标值 0.0(弧形向上和向右),另一个表示目标值 1.0(弧形向下和向左)
  • 正则化对于逻辑回归来说非常重要。
    • 记住渐近线
    • 在高维度下它会不断尝试损失到 0
  • 正则化对于逻辑回归来说非常重要。
    • 记住渐近线
    • 在高维度下它会不断尝试损失到 0
  • 两种策略尤其有用:
    • L2 正则化(也称为 L2 权重衰减)- 降低超权重。
    • 早停法 - 限制训练步骤或学习速率。
  • 线性逻辑回归极其高效。
    • 训练和预测速度非常快。
    • 短 / 宽模型占用大量 RAM。