平等化：遊樂場練習

預估時間：8 分鐘

檢查 L₁ 正規化

這項運動含有微小、略為雜訊的訓練資料集。以這種環境來說，過度配適就是很重要的。規律化或許有幫助，但哪種形式的正規化做法可能有幫助？

本練習包含五個相關工作。為了簡化五項工作的比較，請在獨立的分頁中執行每項工作。 請注意，連結特徵和輸出內容的線條粗細代表每個地圖項目的相對權重。

工作	正規化類型	正規化率 (lambda)
1	L2	0.1
2	L2	0.3
3	近1	0.1
4	近1	0.3
5	近1	實驗組

問題：

1. 從 L₂ 切換為 L₁ 正規化後，如何影響測試損失和訓練損失之間的差異？
2. 從 L₂ 切換為 L₁ 正規化後，對已知權重有何影響？
3. 提高 L₁ 正則化率 (lambda) 對已知權重有何影響？

(答案就在運動下方)。

---

---

按一下加號圖示即可查看解答。

1. 從 L₂ 切換為 L₁ 正規化後，可大幅減少測試損失與訓練損失之間的差異。
2. 將所有已知權重從 L₂ 切換為 L₁ 正則化 Dampens。
3. 一般來說，提高 L₁ 正則化率一般會損害已知權重，但是如果正規化率過高，模型就無法收斂和損失非常高。