推論戦略は、次のいずれかを選択できます。
- オフライン推論。つまり、MapReduce などを使用して、可能なすべての予測をバッチで実行します。次に、予測を SSTable または Bigtable に書き込み、キャッシュまたはルックアップ テーブルにフィードします。
- オンライン推論。つまり、サーバーを使用してオンデマンドで予測します。
静的な推論と動的な推論の詳細については、次の動画(2 分)をご覧ください。
静的推論と動的推論
ML システム パラダイム: 推論
オフライン推論
- MapReduce などを使用して、考えられるすべての予測を一括して行います。
- テーブルに書き込み、次にキャッシュ/ルックアップ テーブルにフィードする。
オンライン推論
ML システム パラダイム: 推論
オフライン推論
- MapReduce などを使用して、考えられるすべての予測を一括して行います。
- テーブルに書き込み、次にキャッシュ/ルックアップ テーブルにフィードする。
- メリット: 推論のコストを心配する必要がない。
- 利点: バッチ割り当てを使用できる可能性が高い。
- メリット: push する前に、データに対して予測の事後検証を行うことができます。
ML システム パラダイム: 推論
オフライン推論
- MapReduce などを使用して、考えられるすべての予測を一括して行います。
- テーブルに書き込み、次にキャッシュ/ルックアップ テーブルにフィードする。
- メリット: 推論のコストを心配する必要がない。
- 利点: バッチ割り当てを使用できる可能性が高い。
- メリット: push する前に、データに対して予測の事後検証を行うことができます。
- デメリット: 予測できるのは知っていることだけ。ロングテールには不向きです。
- デメリット: 更新レイテンシは数時間または数日で測定される可能性が高いです。
ML システム パラダイム: 推論
オンライン推論
- サーバーを使用してオンデマンドで予測する。
- メリット: 新しいアイテムが入ってくると予測でき、ロングテールに最適です。
ML システム パラダイム: 推論
オンライン推論
- サーバーを使用してオンデマンドで予測する。
- メリット: 新しいアイテムが入ってくると予測でき、ロングテールに最適です。
- デメリット: コンピューティング負荷が高く、レイテンシの影響を受けやすいため、モデルの複雑さが制限される場合があります。
- デメリット: モニタリングのニーズがより高まります。
講義のまとめ(動画)
オフライン推論には、長所と短所があります。
- メリット: 推論のコストをあまり気にする必要がない。
- メリット: バッチ割り当てや巨大な MapReduce を使用できる可能性がある。
- 利点: push する前に予測の事後検証を実行できる。
- デメリット: 知っていることしか予測できない。ロングテールには不向き。
- デメリット: 更新のレイテンシは、数時間または数日で測定される可能性が高くなります。
オンライン推論の長所と短所は次のとおりです。
- メリット: 新しい商品が届いても予測が可能で、ロングテールに最適です。
- デメリット: コンピューティング負荷が高く、レイテンシの影響を受けやすいため、モデルの複雑さが制限される場合があります。
- デメリット: モニタリングのニーズがより複雑になります。