机器学习开发阶段

机器学习项目分阶段发展,包含特定目标、任务和结果。清楚了解机器学习开发阶段有助于确定工程责任、管理利益相关方预期以及高效分配资源。

成功经历这些阶段(通常是迭代地)是设计、组装和构建可长期解决业务问题的机器学习模型的基础。

概括来讲,实现机器学习解决方案包括以下阶段:

  1. 构思与规划
  2. 实验
  3. 流水线构建
  4. 生产化

构思与规划

在构思和规划阶段,您可根据机器学习解决方案来构思问题并估算项目的可行性。

  • 目标:确定机器学习是否是解决您问题的最佳解决方案。
  • 任务:分析业务问题,了解项目限制。
  • 结果:一份设计文档,其中概述了如何使用机器学习解决方案解决问题。如需查看机器学习设计文档的示例,请参阅 go/ml-design-doc-example

在广播中观看即可获取视频转写文稿。如果转录未显示,请点击 转录图标。

实验

实验是机器学习的核心。在此阶段,您将验证机器学习解决方案是否可行。寻找解决方案是一个迭代过程。在找到解决问题的正确特征超参数和模型架构组合之前,尝试进行数百次实验的做法并不少见。

  • 目标:构建解决业务问题的模型。
  • 任务:试验特征、超参数和模型架构。
  • 结果:一个质量足够好,可以投入生产的模型。

在广播中观看即可获取视频转写文稿。如果转录未显示,请点击 转录图标。

流水线构建和生产化

流水线构建和生产阶段,您可以构建用于处理数据、训练模型和提供预测的流水线。然后,您可以将模型和流水线部署到具有必要的监控和日志记录基础架构的生产环境。

  • 目标:构建和实现用于在生产环境中扩缩、监控和维护模型的基础架构。
  • 任务:构建流水线以自动执行许多任务,使模型在生产环境中保持最新状态。
  • 结果:经过验证的机器学习流水线。

在广播中观看即可获取视频转写文稿。如果转录未显示,请点击 转录图标。

端到端机器学习工作流

下图说明了整个端到端机器学习工作流,列出了每个阶段及其任务和结果:

端到端机器学习工作流。

图 1. 机器学习工作流的四个主要阶段。

注意事项

每个阶段都存在多个挑战。 如果没有意识到这一点,也未做好规划,可能会导致错过截止日期、让工程师感到沮丧以及项目失败。