练习 1：清晰易懂地开始

编写您希望机器学习模型执行的操作。

我们希望机器学习模型能够：

取得成功的建议
此时，这些语句可以是定性性的，但请确保这样可以反映您的实际目标，而不是间接目标。 如果您不确定，请查看前面的课程，看看机器学习模型能实现哪些功能。

练习 2：您的理想结果

将机器学习模型添加到系统中应该会产生所需的结果。这个结果与模型本身无关吗？请注意，此结果可能与评估模型及其质量的方式截然不同。

理想的结果是：

取得成功的建议
您无需受限于产品已针对哪些指标进行了优化（将在下一练习中介绍）。而应专注于产品或服务的整体目标。

练习 3：您的成功指标

记下使用机器学习系统判断是否成功的指标。故障指标很重要，也就是说，您如何知道机器学习系统是否发生故障？成功和失败指标的措辞都应该独立于模型的评估指标。例如，不要谈论精确率、召回率或 AUC，而要讨论预期的结果。通常，这些指标与您在上方指定的理想结果相关联。

我们的成功指标包括：

在以下情况下，我们的机器学习模型会被视为失败：

取得成功的建议
  • 这些指标是否可衡量？
  • 您将如何衡量这些指标？
  • 您何时能够衡量这些指标？
    • 您知道新机器学习系统是成功还是失败需要多长时间？
  • 从长远来看，应考虑工程费用和维护费用。
  • 失败不仅仅是因为未能实现成功指标。

练习 4：您的输出

编写您希望机器学习模型生成的输出。

我们的机器学习模型的输出将如下所示：

输出被定义为以下其中一项：

取得成功的建议
  • 输出必须能被机器可以生成的定义量化。
  • 如果您使用的是预测性机器学习，能否获取用于训练数据的示例输出？
    • 如何以及来自哪个来源？
  • 您的输出示例可能需要工程，例如将观看时长转换为百分位。
  • 如果很难获得用于训练的示例输出，您可能需要重新审视对过往练习的回复，以重新拟定问题和目标，以允许您使用数据训练模型。

练习 5：使用输出

写入必须何时从机器学习模型获取输出内容以及如何在您的产品中使用输出内容。

在以下情况下，将获取机器学习模型的输出：

结果将用于：

取得成功的建议
考虑您需要哪些数据才能进行预测。例如，如果您使用地图预测地图应用中的行程时间，则可能输入如下内容：“当用户选择出发地、目的地和交通方式时，系统将获取模型的输出。”
想一想如何在您的商品中使用预测结果。
  • 是否会在界面中立即呈现给用户？
  • 是否会被后续业务逻辑使用？
  • 您有哪些延迟时间要求？
这些要求（机器学习模型的要求）可能会影响系统可以根据哪些信息进行预测。例如：
  • 使用远程服务中的数据时可能会出现延迟，导致无法使用。
  • 如果数据源在获取新信息时出现延迟，请执行以下操作：
    • 系统每天只能生成一次已处理的日志。
    • 某些信息只有在实际发生后才知道（例如转化事件）。
Oracle 测试：假设您始终拥有正确的答案。您会如何将其用于自己的产品？

练习 6：您的启发法

请编写不使用机器学习如何解决问题。例如，您可以使用哪些启发法。

如果不使用机器学习技术，我们会：

取得成功的建议
设想一下，明天您需要交付产品，并且只能对业务逻辑进行硬编码。您会怎么做？
点击下方按钮即可打印回复或将其保存为 .pdf 文件。

打印页面