简化正则化:Playground 练习(L2 正则化)

正在检查 L2 正则化

本练习包含一个嘈杂的小型训练数据集。 在这种情况下,过拟合问题比较令人担忧。幸运的是,正则化可能会有所帮助。

本练习包含三项相关的任务。为了简化这三个任务之间的比较,请在单独的标签页中运行每个任务。

  • 任务 1:运行模型至少 500 个周期。请注意以下几点:
    • 测试损失。
    • 测试损失与训练损失之间的差值。
    • 特征和特征组合的已知权重。(从 FEATURES 到 OUTPUT 的每条线的相对厚度表示该特征或特征组合的已知权重。您可以将鼠标悬停在各行上方,找到确切的权重值。)
  • 任务 2:(建议在单独的标签页中执行该任务。)将正则化率从 0 增加到 0.3。然后,运行模型至少 500 个周期,并找到以下问题的回答:
    • 任务 2 中的测试损失与任务 1 中的测试损失有何不同?
    • 任务 2 中的测试损失与训练损失之间的差值与任务 1 中的差异有何不同?
    • 在任务 2 和任务 1 中,每个特征和特征组合的已知权重有何不同?
    • 您的结果揭示了模型复杂度有什么特点?
  • 任务 3:尝试不同的正则化率,尝试找到最佳值。

(答案会显示在练习下方。)