ロジスティック回帰 モデルは同じプロセスでトレーニングされ、 線形回帰 主な違いは 2 つあります。
以降のセクションでは、この 2 つの考慮事項について詳しく説明します。
ログ損失
線形回帰モジュールでは、 二乗損失（別名: L2 損失）を 損失関数。 二乗損失は線形回帰の場合に このモデルでは、出力値の変化率が一定です。たとえば 線形モデル $y' で= b + 3x_1$ となり、入力をインクリメントするたびに 出力値 $y'$ が 3 ずつ増加します。
しかし、ロジスティック回帰モデルの変化率は一定ではありません。 確率の計算で説明したように、 シグモイド曲線は S 字型 線形ではなく対数オッズ（$z$）の値が 0 に近いほど、 $z$ の増加は、$z$ が大きいときよりも $y$ の変動が大きくなります。 正または負の数。次の表は、シグモイド関数の 5 ～ 10 の入力値に対する出力、および対応する精度 必要があります。
| 入力 | ロジスティック出力 | 必要な精度の桁数 |
|---|---|---|
| 5 | 0.993 | 3 |
| 6 | 0.997 | 3 |
| 7 | 0.999 | 3 |
| 8 | 0.9997 | 4 |
| 9 | 0.9999 | 4 |
| 10 | 0.99998 | 5 |
二乗損失を使ってシグモイド関数の誤差を計算した場合、
出力が 0 と 1 に次第に近づくと、次の処理を行うためにより多くのメモリが必要になります。
値を追跡するために必要な精度を維持します。
代わりに、ロジスティック回帰の損失関数は、 ログ損失。「 対数損失の方程式は、変化の大きさの対数を返します。 単なる距離ではありませんログ損失は次のように計算されます。 次のようになります。
\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)
ここで
- \((x,y)\in D\) は、ラベル付けされた多数のサンプルを含むデータセットです。 \((x,y)\) ペア。
- \(y\) は、ラベル付きサンプルのラベルです。これはロジスティック回帰なので \(y\) のすべての値は 0 または 1 にする必要があります。
- \(y'\) は、次の式に対するモデルの予測（0 と 1 の間）です。 の \(x\)機能。
ロジスティック回帰での正則化
正則化: トレーニング中にモデルの複雑さにペナルティをかけることは、ロジスティック 説明します正則化しないと、ロジスティックの漸近的な性質が 回帰は 0 に向かって損失を誘導し続けることになる 学習します。そのため、ほとんどのロジスティック回帰モデルでは、 次の 2 つの戦略のうちのどれに該当するかを示します。
で確認できます。