ロジスティック回帰

0 または 1 を正確に予測する代わりに、ロジスティック回帰を使用すると、確率は 0 ~ 1 の範囲内の値になります。たとえば、スパム検出のロジスティック回帰モデルについて考えてみましょう。モデルが特定のメール メッセージに対して 0.932 の値を推測すると、メール メッセージが迷惑メールである可能性は 93.2% になります。より正確には、無限トレーニングのサンプルの上限では、モデルが 0.932 と予測した一連のサンプルが実際に 93.2% の確率でスパムになり、残りの 6.8% がスパムであると予測することを意味します。

ロジスティック回帰

  • 曲がったコインについて、ヘッドの確率を予測する問題を想像してみてください。
  • 曲げ角度、コインの質量などの特徴を使用します
  • 最もシンプルなモデルは何ですか。
  • 問題が発生するとしたら、どのようなケースが考えられるでしょうか。
2 つの硬貨
  • 多くの問題には確率として出力を推定する必要がある
  • ロジスティック回帰」と入力します。
  • 多くの問題には確率として出力を推定する必要がある
  • ロジスティック回帰」と入力します。
  • 確率の推定値は調整されているため、便利です。
    • 例: p(住宅が売却)* 価格 = 期待される成果
  • 多くの問題には確率として出力を推定する必要がある
  • ロジスティック回帰」と入力します。
  • 確率の推定値は調整されているため、便利です。
    • 例: p(住宅が売却)* 価格 = 期待される成果
  • バイナリ分類が必要な場合にも役立ちます
    • スパムかどうか→ p(スパム)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

ロジスティック回帰の式のグラフ

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

ログ損失と予測値の 2 つのグラフ。目標値が 0.0 で、右から右に弧を描き、もう 1 つに、1.0 の目標値(上下が弧を描く)になっています。
  • ロジスティック回帰の場合、正則化は非常に重要です。
    • ほのめかしを覚える
    • 高次元で損失を 0 にまで追い続けるようになります
  • ロジスティック回帰の場合、正則化は非常に重要です。
    • ほのめかしを覚える
    • 高次元で損失を 0 にまで追い続けるようになります
  • 特に有効な戦略は次の 2 つです。
    • L2 正則化(L2 重み減衰)- 重みが大きくなります。
    • 早期停止 - トレーニング ステップまたは学習率を制限する。
  • 線形ロジスティック回帰は非常に効率的です。
    • 非常に高速なトレーニングと予測時間。
    • ショートモデルやワイドモデルは RAM を大量に消費します。