验证集:检查您的直觉

在开始本单元之前,请思考如果使用训练集和测试集中介绍的训练流程,是否会遇到任何问题。

了解以下选项。

我们了解了使用测试集和训练集来推动模型开发迭代的流程。在每次迭代中,我们都会使用训练数据进行训练,并使用测试数据的评估结果来指导选择和更改各种模型超参数(如学习速率和特征)。这种方法有什么问题吗?(请仅选择一个答案。)
完全没问题。我们使用训练数据进行训练,并根据单独的预留测试数据进行评估。
实际上,这里有一个小问题。想一想,如果我们进行这种形式的大量迭代,会发生什么情况。
多次重复执行此流程可能会导致我们不知不觉地拟合特定测试集的特性。
没错!我们根据给定测试集进行评估的频率越高,出现隐式过拟合该测试集的风险就越大。 接下来,我们会寻找更好的方案。
这种计算效率低下。我们应该只选择一组默认的超参数并使用它们,以节省资源。
虽然这些迭代的成本高昂,但它们是模型开发的关键环节。超参数设置可能会对模型质量产生巨大影响,而我们始终应投入一些时间和计算资源,以确保获得最佳质量。