L1 正則化の調査
この演習には、わずかにノイズの多い小さなトレーニング データセットが含まれています。このような設定では、過学習が大きな問題となります。正則化が役立つかもしれませんが、その正則化はどのような形のものでしょうか。
この演習は、関連する 5 つのタスクで構成されています。5 つのタスクを簡単に比較できるように、各タスクを個別のタブで実行してください。 「特徴量」と「出力」を結ぶ線の太さは、各特徴量の相対的な重みを表しています。
タスク | 正則化の種類 | 正則化率(ラムダ) |
---|---|---|
1 | L2 | 0.1 |
2 | レベル2 | 0.3 |
3 | レベル1 | 0.1 |
4 | レベル1 | 0.3 |
5 | レベル1 | experiment |
質問:
- L2 正則化から L1 正則化に切り替えると、テスト損失とトレーニング損失の差にどのような影響がありますか?
- L2 から L1 に正則化を切り替えると、学習した重みにどのような影響がありますか。
- L1 正則化率(ラムダ)を増やすと、学習した重みにどのような影響がありますか。
(解答は演習のすぐ下に表示されます)。