模型開發人員可將值乘以「lambda」 (也稱為「正規化率」) 中的價值,藉此調整正規化字詞的整體影響。也就是說,模型開發人員的目標是:
$$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$$
執行 L2 正規化會對模型產生下列影響
- 鼓勵將權重值設為 0 (但不要剛好 0)
- 透過正常 (鈴鐺形狀或高斯) 分佈情形,鼓勵權重的平均值為 0。
增加 lambda 值可強化正規化效果。舉例來說,高價值 lambda 的權重直方圖可能如圖 2 所示。
圖 2. 權重直方圖。
降低 lambda 的值通常會產生平面直方圖,如圖 3 所示。
圖 3. 較低的 lambda 值產生的權重直方圖。
選擇 lambda 值時,目標是在簡易性與訓練資料相符程度之間取得平衡:
如果 lambda 值過高,模型會簡單明瞭,但資料可能會不足。模型無法累積足夠的訓練資料,因此無法做出實用的預測。
如果 lambda 值太低,模型會較為複雜,且資料有過度配適的風險。模型只能瞭解訓練資料的特性,並無法依據新資料一般化。
lambda 的理想值會產生一個模型,可以廣泛依據先前未顯示的新資料。可惜的是,lambda 的理想值取決於資料,因此您需要手動或自動進行 調整。