简化正则化：Playground 练习（过度组合？）

预计用时：5 分钟

交叉路口？

在观看视频或阅读文档之前，请先完成本练习，了解特征组合的过度使用。

任务 1：按原样运行具有所有指定向量积特征的模型。模型与数据拟合的方式是否有任何意外之处？ 有什么问题？

任务 2：尝试移除各种跨乘积特征以提升性能（但仅略有下降）。为什么移除特征可以提高性能？

（答案会显示在练习下方。）

---

---

点击加号图标即可查看任务 1 的答案。

令人惊讶的是，模型的决策边界看起来有点古怪。特别是，左上角有一个区域提示蓝色，但数据中并未提供该区域支持。

请注意从 INPUT 到 OUTPUT 的五条线的相对厚度。这些线显示五个特征的相对权重。从 X₁ 和 X₂ 发出的线比来自地图项交叉的线粗得多。因此，与常规（未组合）特征相比，特征组合对模型的贡献要少得多。

点击加号图标即可查看任务 2 的答案。

移除所有特征组合可获得更合理的模型（不再有过拟合的曲线边界），并使测试损失收敛。

经过 1000 次迭代后，测试损失的值应略低于使用特征组合时的值（但结果可能会因数据集而略有不同）。

本练习中的数据基本上是线性数据加噪声。如果我们使用的模型过于复杂（例如组合数过多），我们会给模型提供拟合训练数据中的噪声的机会，这通常会使模型在测试数据上表现不佳。