Production ML Systems

除了实现机器学习算法之外,机器学习还包含许多其他内容。 生产型机器学习系统涉及大量组件。

Production ML Systems

机器学习系统示意图
包含以下组件的机器学习系统示意图:数据收集、特征提取、进程管理工具、数据验证、配置、机器资源管理、监控和服务基础架构以及机器学习代码。与其他九个组件相比,该图中的机器学习代码部分相差甚远。
  • 不需要,您不必自行构建所有内容。
    • 尽可能重复使用通用机器学习系统组件。
    • Google CloudML 解决方案包括 Dataflow 和 TF Serving
    • 您还可以在 Spark、Hadoop 等其他平台中找到这些组件。
    • 您如何知道自己需要什么?
      • 了解机器学习系统的一些范例并他们的要求

视频讲座总结

到目前为止,机器学习速成课程侧重于构建机器学习模型。 不过,如下图所示, 生产环境中的机器学习系统是大型生态系统, 只是一个组成部分。

包含以下组件的机器学习系统示意图:数据收集、特征提取、进程管理工具、数据验证、配置、机器资源管理、监控和服务基础架构以及机器学习代码。与其他九个组件相比,该图中的机器学习代码部分相差甚远。

图 1. 用于生产环境的机器学习系统。

机器学习代码是真实机器学习生产系统的核心, 该框通常仅代表整个代码的 5% 或更少 整个机器学习生产系统的关键。(这并非印刷错误。) 请注意,机器学习生产系统投入了大量资源, 收集、验证以及提取特征。 此外,请注意,必须部署服务基础架构 将机器学习模型的预测付诸实践。

幸运的是,上图中的许多组件都可以重复使用。 此外,您无需自行构建图 1 中的所有组件。

TensorFlow Extended (TFX) 是一种端到端 用于部署生产型机器学习流水线的平台。

后续单元将有助于您在构建 生产环境机器学习系统。