2024 年 8 月に、機械学習集中講座の改良された新しいバージョンがリリースされます。今後の情報にご注目ください。
0 または 1 を正確に予測する代わりに、ロジスティック回帰を使用すると、確率は 0 ~ 1 の範囲内の値になります。たとえば、スパム検出のロジスティック回帰モデルについて考えてみましょう。モデルが特定のメール メッセージに対して 0.932 の値を推測すると、メール メッセージが迷惑メールである可能性は 93.2% になります。より正確には、無限トレーニングのサンプルの上限では、モデルが 0.932 と予測した一連のサンプルが実際に 93.2% の確率でスパムになり、残りの 6.8% がスパムであると予測することを意味します。
ロジスティック回帰
コイントスを予測する場合
- 曲がったコインについて、ヘッドの確率を予測する問題を想像してみてください。
- 曲げ角度、コインの質量などの特徴を使用します
- 最もシンプルなモデルは何ですか。
- 問題が発生するとしたら、どのようなケースが考えられるでしょうか。
ロジスティック回帰
- 多くの問題には確率として出力を推定する必要がある
- 「ロジスティック回帰」と入力します。
ロジスティック回帰
- 多くの問題には確率として出力を推定する必要がある
- 「ロジスティック回帰」と入力します。
- 確率の推定値は調整されているため、便利です。
- 例: p(住宅が売却)* 価格 = 期待される成果
ロジスティック回帰
- 多くの問題には確率として出力を推定する必要がある
- 「ロジスティック回帰」と入力します。
- 確率の推定値は調整されているため、便利です。
- 例: p(住宅が売却)* 価格 = 期待される成果
- バイナリ分類が必要な場合にも役立ちます
ロジスティック回帰 -- 予測
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \)
\(x\text{: Provides the familiar linear model}\)
\(1+e^{-(...)}\text{: Squish through a sigmoid}\)
LogLoss の定義
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
ロジスティック回帰と正則化
- ロジスティック回帰の場合、正則化は非常に重要です。
- ほのめかしを覚える
- 高次元で損失を 0 にまで追い続けるようになります
ロジスティック回帰と正則化
- ロジスティック回帰の場合、正則化は非常に重要です。
- ほのめかしを覚える
- 高次元で損失を 0 にまで追い続けるようになります
- 特に有効な戦略は次の 2 つです。
- L2 正則化(L2 重み減衰)- 重みが大きくなります。
- 早期停止 - トレーニング ステップまたは学習率を制限する。
線形ロジスティック回帰
- 線形ロジスティック回帰は非常に効率的です。
- 非常に高速なトレーニングと予測時間。
- ショートモデルやワイドモデルは RAM を大量に消費します。