透過 ML Kit 的圖片標籤 API,您可以偵測並擷取圖片中各種類別的實體資訊。預設的圖片標籤模型可識別一般物體、地點、活動、動物物種、產品等等。
您也可以使用自訂圖片分類模型,根據特定用途量身打造偵測功能。詳情請參閱「使用自訂 TensorFlow Lite 模型」一文。
主要功能
- 強大的一般用途基本分類器:辨識超過 400 個類別,這些類別描述了相片中最常找到的物件。
- 使用自訂模型根據用途量身打造 使用 TensorFlow Hub 的其他預先訓練模型,或使用透過 TensorFlow、AutoML Vision Edge 或 TensorFlow Lite 模型製作工具訓練的自訂模型。
- 易於使用的高階 API 無需處理低階模型輸入/輸出、圖片預先處理和後續處理,也不必建構處理管道。ML Kit 會從 TensorFlow Lite 模型中擷取標籤,並以文字描述的形式提供這些標籤。
請注意,這個 API 適用於描述完整圖像的圖片分類模型,如要將圖片中的一或多個物件 (例如鞋子或家具) 分類,建議使用 Object Detection & Tracking API,
支援的圖片分類模型
Image Labeling API 支援不同的圖片分類模型:
支援的圖片分類模型 | |
---|---|
基礎模型 | 根據預設,API 採用功能強大的一般用途圖片標籤模型,可辨識超過 400 個涵蓋最常見相片概念的實體。 |
自訂 TensorFlow Lite 模型 | 為以應用程式專屬的概念為目標,API 接受各種來源的自訂圖片分類模型。您可以選用從 TensorFlow Hub 下載的預先訓練模型,或是自行使用 AutoML Vision Edge、TensorFlow Lite Model Maker 或 TensorFlow 自行訓練的模型。模型可與您的應用程式搭配組合,或是透過 Firebase 機器學習技術託管,並在執行階段下載。 |
使用基礎模型
ML Kit 的基礎模型會傳回實體清單 用於識別人物、事物、地點、活動等等每個實體都有一個分數,代表機器學習模型與相關關聯性的可信度。有了這項資訊,您就可以執行中繼資料自動產生和內容審核等工作。ML Kit 提供的預設模型可辨識 400 個以上的不同實體。
標籤範例
圖片標籤 API 中的基礎模型支援 400 多個標籤,如以下範例所示:
類別 | 標籤範例 |
---|---|
參與者 | Crowd Selfie Smile |
活動 | Dancing Eating Surfing |
事物 | Car Piano Receipt |
動物 | Bird Cat Dog |
植物 | Flower Fruit Vegetable |
地點介面集 | Beach Lake Mountain |
搜尋結果範例
以下範例是隨附相片中可辨識的實體。
標籤 0 | |
---|---|
文字 | 體育場館 |
提升信心 | 0.9205354 |
標籤 1 | |
文字 | 運動 |
提升信心 | 0.7531109 |
標籤 2 | |
文字 | 活動 |
提升信心 | 0.66905296 |
標籤 3 | |
文字 | 休閒 |
提升信心 | 0.59904146 |
標籤 4 | |
文字 | 足球 |
提升信心 | 0.56384534 |
標籤 5 | |
文字 | 淨值 |
提升信心 | 0.54679185 |
標籤 6 | |
文字 | 植物 |
提升信心 | 0.524364 |
使用自訂 TensorFlow Lite 模型
ML Kit 的基本圖片標籤模型專為一般用途而設計,經過訓練,能夠辨識 400 個描述相片中最常見的物件類別。您的應用程式可能需要使用特殊的圖片分類模型,能夠更精確地辨識較少類別的類別,例如用於區分花卉或食品類型的模型。
這個 API 支援多種來源的自訂圖片分類模型,可讓您根據特定用途調整圖片內容。詳情請參閱「使用 ML Kit 自訂模型」一文。您可以將自訂模型與您的應用程式組合在一起,或使用 Firebase 機器學習的模型部署服務,從雲端動態下載。
輸入圖片預先處理
如有需要,圖片標籤功能則會使用雙線性圖片縮放和延展功能,調整輸入圖片大小和顯示比例,使其符合基礎模型的要求。