本番環境 ML システム

ML アルゴリズムだけを実装するより、機械学習の方がはるかに役に立つ場合があります。 本番環境の ML システムには多数のコンポーネントが含まれています。

Production ML Systems

ML システム図
コンポーネント(データ収集、特徴抽出、プロセス管理ツール、データ検証、構成、マシンリソース管理、モニタリングとサービス提供インフラストラクチャ、ML コード)を含む ML システム図。図の ML コード部分は、他の 9 つのコンポーネントによって小さくなっています。
  • いいえ。すべてを自分で構築する必要はありません。
    • 可能な限り汎用の ML システム コンポーネントを再利用する。
    • Google CloudML ソリューション(Dataflow と TF Serving を含む)
    • コンポーネントは、Spark や Hadoop などの他のプラットフォームにも配置できます。
    • 必要なものを知るにはどうすればよいでしょうか。
      • いくつかの ML システムのパラダイムとその要件を理解する

動画講義のまとめ

これまで、機械学習集中講座では ML モデルの構築に重点を置いてきました。ただし、次の図からわかるように、実際の本番環境 ML システムは大規模なエコシステムであり、このモデルは 1 つの部分にすぎません。

コンポーネント(データ収集、特徴抽出、プロセス管理ツール、データ検証、構成、マシンリソース管理、モニタリングとサービス提供インフラストラクチャ、ML コード)を含む ML システム図。図の ML コード部分は、他の 9 つのコンポーネントによって小さくなっています。

図 1. 実際の本番環境用 ML システム。

ML コードは実際の ML 本番環境システムの中核を成していますが、多くの場合、そのボックスは ML 本番環境システム全体のコード全体の 5% 以下に相当します。(ミスミスではありません)。 ML 本番環境システムは、入力データ(収集、検証、特徴の抽出)にかなりのリソースを投入します。さらに、ML モデルの予測を実際に使用できるようにするには、サービング インフラストラクチャを導入する必要があります。

ただし、上図のコンポーネントの多くは再使用できます。さらに、図 1 で紹介しているコンポーネントを独自に作成する必要はありません。

TensorFlow Extended(TFX)は、本番環境 ML パイプラインをデプロイするためのエンドツーエンドのプラットフォームです。

以降のモジュールは、本番環境の ML システムをビルドする際の設計上の判断に役立ちます。