簡單化 - Lambda

模型開發人員可將值乘以「lambda」 (也稱為「正規化率」) 中的價值,藉此調整正規化字詞的整體影響。也就是說,模型開發人員的目標是:

$$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$$

執行 L2 正規化會對模型產生下列影響

  • 鼓勵將權重值設為 0 (但不要剛好 0)
  • 透過正常 (鈴鐺形狀或高斯) 分佈情形,鼓勵權重的平均值為 0。

增加 lambda 值可強化正規化效果。舉例來說,高價值 lambda 的權重直方圖可能如圖 2 所示。

模型權重的直方圖,平均值為零和常態分佈。

圖 2. 權重直方圖。

降低 lambda 的值通常會產生平面直方圖,如圖 3 所示。

模型權重為零的直方圖,介於平分佈和常態分佈之間。

圖 3. 較低的 lambda 值產生的權重直方圖。

選擇 lambda 值時,目標是在簡易性與訓練資料相符程度之間取得平衡:

  • 如果 lambda 值過高,模型會簡單明瞭,但資料可能會不足。模型無法累積足夠的訓練資料,因此無法做出實用的預測。

  • 如果 lambda 值太低,模型會較為複雜,且資料有過度配適的風險。模型只能瞭解訓練資料的特性,並無法依據新資料一般化。

lambda 的理想值會產生一個模型,可以廣泛依據先前未顯示的新資料。可惜的是,lambda 的理想值取決於資料,因此您需要手動或自動進行 調整。