ML Kit のオンデバイス オブジェクト検出およびトラッキング API を使用すると、画像フィードやライブカメラフィード内のオブジェクトを検出して追跡できます。
必要に応じて、API に組み込まれている大まかな分類器を使用するか、独自のカスタム画像分類モデルを使用して、検出されたオブジェクトを分類できます。詳細については、カスタム TensorFlow Lite モデルの使用をご覧ください。
オブジェクトの検出とトラッキングはデバイス上で行われるため、ビジュアル検索パイプラインのフロントエンドとしても機能します。オブジェクトを検出してフィルタしたら、Cloud Vision Product Search などのクラウド バックエンドに渡すことができます。
主な機能
- 高速なオブジェクト検出とトラッキング オブジェクトを検出して、画像内の位置を取得します。連続する画像フレーム間でオブジェクトを追跡します。
- オンデバイス モデルの最適化 オブジェクトの検出とトラッキング モデルは、モバイル デバイス向けに最適化されており、ローエンド デバイスでも、リアルタイム アプリケーションでの使用を想定しています。
- 認識しやすいオブジェクトの検出 画像内で最も視認性の高いオブジェクトを自動的に検出します。
- 大まかな分類: オブジェクトを広範なカテゴリに分類します。このカテゴリを使用すると、不要なオブジェクトを除外できます。サポートされているカテゴリは、日用品、ファッション アイテム、食品、植物、場所です。
- カスタムモデルによる分類 独自のカスタム画像分類モデルを使用して、特定のオブジェクト カテゴリを識別またはフィルタリングします。画像の背景を除外することで、カスタムモデルのパフォーマンスを向上させることができます。
検索結果の例
最も目立つオブジェクトを画像間でトラッキングする
以下の例は、ML Kit で提供されるデフォルトの粗い分類器を使用した、3 つの連続するフレームのトラッキング データを示しています。
 |
|
||||||||
 |
|
||||||||
 |
|
写真: Christian Ferrer [CC BY-SA 4.0]
静止画像内の複数のオブジェクト
以下の例は、ML Kit に用意されているデフォルトの粗い分類器を使用して、画像から検出された 4 つのオブジェクトのデータを示しています。
| オブジェクト 0 | |
|---|---|
| 境界 | （1, 97）、（332, 97）、（332, 332）、（1, 332） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.95703125 |
| オブジェクト 1 | |
| 境界 | （186, 80）、（337, 80）、（337, 226）、（186, 226） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.84375 |
| オブジェクト 2 | |
| 境界 | （296, 80）、（472, 80）、（472, 388）、（296, 388） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.94921875 |
| オブジェクト 3 | |
| 境界 | （439, 83）、（615, 83）、（615, 306）、（439, 306） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.9375 |
カスタム TensorFlow Lite モデルの使用
デフォルトの大まかな分類器は 5 つのカテゴリ用に作成され、検出されたオブジェクトに関する限定的な情報を提供します。たとえば、花の種類や食べ物の種類を区別するモデルなど、より狭いコンセプト領域をより詳細にカバーする、より特殊な分類器モデルが必要になる場合があります。
この API を使用すると、幅広いソースからのカスタム画像分類モデルをサポートすることで、特定のユースケースに合わせてカスタマイズできます。詳細については、ML Kit によるカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。
入力画像の前処理
オブジェクトの検出とトラッキングでは、必要に応じて、バイリニア画像のスケーリングとストレッチを使用して、基盤となるモデルの要件に合うように入力画像のサイズとアスペクト比を調整します。