生产型机器学习系统

机器学习不仅仅需要实现机器学习算法。生产型机器学习系统涉及大量组件。

Production ML Systems

仅显示
包含以下组件的机器学习系统示意图:数据收集、特征提取、流程管理工具、数据验证、配置、机器资源管理、监控和服务基础架构,以及机器学习代码。与其他 9 个组件相比,该图的机器学习代码大大增加了。
  • 不需要,您不必自行构建所有内容。
    • 尽可能重复使用通用机器学习系统组件。
    • Google CloudML 解决方案包括 Dataflow 和 TF Serving
    • 您还可以在 Spark、Hadoop 等其他平台中找到组件。
    • 如何知道自己需要什么?
      • 了解一些机器学习系统范例及其要求

视频讲座总结

到目前为止,机器学习速成课程侧重于构建机器学习模型。但是,如下图所示,现实世界中的生产机器学习系统是大型生态系统,模型只是其中的一部分。

包含以下组件的机器学习系统示意图:数据收集、特征提取、流程管理工具、数据验证、配置、机器资源管理、监控和服务基础架构,以及机器学习代码。与其他 9 个组件相比,该图的机器学习代码大大增加了。

图 1. 现实世界中的生产型机器学习系统。

机器学习代码是现实世界机器学习生产系统的核心,但该方框通常只能提供 5% 或更少的总机器学习生产系统代码。(这不是错误打印。) 请注意,机器学习生产系统将大量资源用于输入数据 - 收集、验证数据并从中提取特征。另请注意,必须有服务基础架构,才能将机器学习模型的预测结果付诸现实世界中的实际用途。

幸运的是,上图中的许多组件可以重复使用。此外,您不必自行构建图 1 中的所有组件。

TensorFlow Extended (TFX) 是一个端到端平台,用于部署生产型机器学习流水线。

后续模块将指导您在构建生产机器学习系统时做出设计决策。