邏輯迴歸:遺失與正規化

邏輯迴歸 訓練時使用的程序 線性迴歸 其中有兩項主要差異:

以下章節將深入探討這兩項注意事項。

對數損失

線性迴歸模組中 您使用了平方損失 (也稱為 L2 損失) 損失函式。 方形損失很適合用於線性 輸出值變化速率是固定的模型。例如: 已知線性模式 $y'= b + 3x_1$,每次輸入時就會增加 $x_1$ 乘以 1,輸出值 $y'$ 會加 3。

不過,邏輯迴歸模型的變更速率「不是」常數。 如「計算機率」一節中所述 S 函數曲線為形狀 而非線性當對數機率 ($z$) 值接近 0 時,小號 $z$ 的增加幅度比 $z$ 大時增加 $y$ 必須是正數或負數下表顯示 S 函數的 輸出內容的精確度,介於 5 至 10 之間,以及對應的精確度 以擷取結果差異

輸入 物流輸出 必須輸入的精確度位數
5 $0.993 美元 3
6 $0.997 美元 3
7 $0.999 美元 3
8 $0.9997 美元 4
9 $0.9999 美元 4
10 $0.99998 美元 5

如果您使用平方損失來計算 S 函數的誤差, 輸出內容更接近 01,需要更多記憶體才能 保留追蹤這些值所需的精確度。

相反地,邏輯迴歸的損失函式是 記錄檔遺失: 對數損失公式會傳回變化幅度的對數, 而不是只有資料與預測結果的距離對數損失的計算方式如下 如下:

\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)

其中:

  • \((x,y)\in D\) 是含有許多有標籤樣本的資料集, \((x,y)\) 配對。
  • \(y\) 是加上標籤的範例中的標籤。這是邏輯迴歸 \(y\) 的每個值都必須是 0 或 1。
  • \(y'\) 是您模型的預測結果 (介於 0 到 1 之間),根據下列集合 \(x\)中 Kubernetes 的功能

邏輯迴歸中的正規化

正規化,也就是 降低模型在訓練期間的複雜度,在邏輯上是極為重要的 以及迴歸模型沒有正則化時,物流不合乎 如果模型有其他模型 並提供大量功能因此,大部分邏輯迴歸模型 以下兩種減少模型複雜度的策略:

,瞭解如何調查及移除這項存取權。