L1 正则化练习
本练习包含一个有噪声的小型训练数据集。在这种情况下,过拟合问题比较令人担忧。正则化可能会有所帮助,但以下哪种形式的正则化呢?
本练习包含五个相关的任务。为了简化这 5 个任务之间的比较,请在单独的标签页中运行每个任务。 请注意,连接 FEATURES 和 OUTPUT 的线的厚度表示每个特征的相对权重。
任务 | 正则化类型 | 正则化率 (lambda) |
---|---|---|
1 | L2 | 0.1 |
2 | 等级2 | 0.3 |
3 | L1 | 0.1 |
4 | L1 | 0.3 |
5 | L1 | 实验 |
问题数量:
- 从 L2 正则化转换到 L1 正则化对测试损失与训练损失之间的增量有何影响?
- 从 L2 正则化转换到 L1 正则化对已知权重有何影响?
- 提高 L1 正则化率 (lambda) 对已知权重有何影响?
(答案会显示在练习下方。)