使用 ML Kit 的裝置端偵測和追蹤 API，您可以偵測並追蹤影像或即時攝影機動態饋給中的物件。
您可以選擇使用偵測到的 API 內建的粗分類分類器，或使用自己的自訂圖片分類模型將偵測到的物件分類。詳情請參閱使用自訂 TensorFlow Lite 模型。
由於物件偵測和追蹤是在裝置上進行，因此可以在視覺搜尋管道的前端正常運作。偵測並篩選物件之後，您可以將其傳送至雲端後端，例如 Cloud Vision Product Search。
主要功能
- 快速物件偵測和追蹤：偵測物件，並在物件中取得物件的位置。針對成功的影像畫面追蹤物件。
- 最佳化的裝置端模型：物件偵測和追蹤模型已針對行動裝置進行最佳化處理，適合用於即時應用程式，即使在低階裝置上也同樣適用。
- 醒目的物件偵測：自動判斷圖片中最顯眼的物件。
- 粗略分類：將物件分為廣泛類別，可用來篩選您不感興趣的物件。系統支援以下類別： 居家用品、時尚商品、食物、植物和地點。
- 使用自訂模型分類 使用自己的自訂圖片分類模型來識別或篩選特定的物件類別。排除圖片背景，讓自訂模型的效能更好。
搜尋結果範例
追蹤圖片中最顯眼的物件
下方範例顯示三個連續影格中的追蹤資料，以及 ML Kit 提供的預設粗略分類器。
 |
|
||||||||
 |
|
||||||||
 |
|
相片：Christian Ferrer [CC BY-SA 4.0]
靜態圖片中的多個物件
下方範例顯示在圖片中偵測到的四個物件，該物件使用 ML Kit 提供的預設粗糙度分類器。
| 物件 0 | |
|---|---|
| 範圍 | (1, 97), (332, 97), (332, 332), (1, 332) |
| 類別 | FASHION_GOOD |
| 分類可信度 | 0.95703125 |
| Object 1 | |
| 範圍 | (186, 80), (337, 80), (337, 226), (186, 226) |
| 類別 | FASHION_GOOD |
| 分類可信度 | 0.84375 |
| Object 2 | |
| 範圍 | (296, 80), (472, 80), (472, 388), (296, 388) |
| 類別 | FASHION_GOOD |
| 分類可信度 | 0.94921875 |
| Object 3 | |
| 範圍 | (439, 83), (615, 83), (615, 306), (439, 306) |
| 類別 | FASHION_GOOD |
| 分類可信度 | 0.9375 |
使用自訂 TensorFlow Lite 模型
預設的粗略分類器專為五個類別建構而成，因此只能針對偵測到的物件提供有限的資訊。您可能需要更專業的分類器模型，其中涵蓋更精細的概念領域領域，例如用於分辨花卉種類或食物的模型。
此 API 支援各種來源的自訂圖片分類模型，讓您針對特定用途進行自訂。詳情請參閱使用 ML Kit 自訂模型一文。您可以將自訂模型與您的應用程式搭配使用，也可以使用 Firebase 機器學習的模型部署服務從雲端動態下載。
輸入圖片預先處理
如有需要，物件偵測和追蹤功能會使用雙線性影像縮放及延展輸入輸入大小和長寬比，以符合基本模型的需求。