泛化是指模型适当地适应先前未见过的新数据(从用于创建该模型的同一分布中抽取)的能力。
泛化
概览
- 目标:根据从真实分布(隐藏)中抽取的新数据做出良好预测。
- 问题:我们看不到真相。
- 我们只能从中取样。
概览
- 目标:根据从真实分布(隐藏)中抽取的新数据做出良好预测。
- 问题:我们看不到真相。
- 我们只能从中取样。
- 如果模型 h 非常适合我们的当前样本,我们如何相信它能在其他新样本上很好地进行预测?
我们如何知道自己的模型是否理想?
- 理论上:
- 有趣的领域:泛化理论
- 基于衡量模型简单性 / 复杂性的理念
- 直觉:奥卡姆剃刀定律的形式化
- 模型越简单,良好的实证结果就越有可能不仅仅是基于样本的特性
我们如何知道自己的模型是否理想?
- 根据经验:
- 问:我们的模型能否很好地处理新的数据样本?
- 评估:获取新的数据样本,并将其称为测试集
- 一般来说,测试集的出色性能可以很好地反映新数据的表现:
- 如果测试集足够大
- 如果我们不反复使用测试集作弊
机器学习细则
以上所有三个基本假设:
- 我们从分布中随机抽取独立同分布 (i.i.d.) 的样本
- 分布是平稳的:分布不会随时间发生变化
- 我们始终从相同的发行版中提取:包括训练集、验证集和测试集