借助机器学习套件的图片标签 API,您可以检测和提取图片中各种类别的实体的相关信息。默认的图片标签模型可以识别一般对象、地点、活动、动物物种、商品等。
您还可以使用自定义图片分类模型来针对特定使用场景定制检测。如需了解详情,请参阅使用自定义 TensorFlow Lite 模型。
主要功能
- 一个强大的通用基分类器,可以识别 400 多个描述照片中最常见对象的类别。
- 使用自定义模型,根据您的使用场景量身定制 使用 TensorFlow Hub 中的其他预训练模型,或使用通过 TensorFlow、AutoML Vision Edge 或 TensorFlow Lite Model Maker 训练的自定义模型。
- 易用的高级别 API 无需处理低级别模型输入/输出、图像预处理和后处理,也无需构建处理流水线。机器学习套件从 TensorFlow Lite 模型中提取标签,并以文本描述的形式提供这些标签。
请注意,此 API 适用于描述完整图片的图片分类模型。如需对图片中的一个或多个对象(例如鞋子或家具)进行分类,Object Detection & Tracking API 可能更合适。
支持的图片分类模型
Image Labeling API 支持不同的图片分类模型:
支持的图片分类模型 | |
---|---|
基本模型 | 默认情况下,该 API 使用强大的通用图片标签模型,该模型可识别 400 多个实体,这些实体涵盖了照片中最常见的概念。 |
自定义 TensorFlow Lite 模型 | 为了确定应用特定概念的目标,该 API 接受来自各种来源的自定义图片分类模型。这些模型可以是从 TensorFlow Hub 下载的预训练模型,也可以是您自己的使用 AutoML Vision Edge、TensorFlow Lite Model Maker 或 TensorFlow 本身训练的模型。模型可以与您的应用捆绑在一起,也可以通过 Firebase Machine Learning 托管并在运行时下载。 |
使用基本模型
机器学习套件的基本模型会返回可识别人物、事物、地点、活动等的实体列表。每个实体都有一个得分,表示机器学习模型对其相关性的置信度。利用这些信息,您可以执行自动元数据生成和内容审核等任务。机器学习套件提供的默认模型可识别 400 多个不同的实体。
示例标签
图片标签 API 中的基本模型支持 400 多个标签,如以下示例所示:
Category | 示例标签 |
---|---|
用户 | Crowd Selfie Smile |
活动 | Dancing Eating Surfing |
Things | Car Piano Receipt |
动物 | Bird Cat Dog |
植物 | Flower Fruit Vegetable |
地点 | Beach Lake Mountain |
示例结果
以下是在附带照片中识别到的实体的示例。
![](https://developers.google.cn/static/ml-kit/vision/image-labeling/images/1024px-Valais_Cup_2013_-_OM-FC_Porto_13-07-2013_-_Brice_Samba_en_extension.jpg?authuser=9&hl=nl)
标签 0 | |
---|---|
Text | 体育馆 |
提升信心 | 0.9205354 |
标签 1 | |
Text | 运动场所 |
提升信心 | 0.7531109 |
标签 2 | |
Text | 事件 |
提升信心 | 0.66905296 |
标签 3 | |
Text | 休闲 |
提升信心 | 0.59904146 |
标签 4 | |
Text | 英式足球 |
提升信心 | 0.56384534 |
标签 5 | |
Text | 净指标 |
提升信心 | 0.54679185 |
标签 6 | |
Text | 植物 |
提升信心 | 0.524364 |
使用自定义 TensorFlow Lite 模型
机器学习套件的基本图片标签模型专为通用用途而构建。其经过训练能够识别 400 个类别,这些类别用于描述照片中最常见的对象。您的应用可能需要一个专用的图片分类模型,该模型可以更详细地识别较小数量的类别,例如区分花卉种类或食品类型的模型。
此 API 支持来自各种来源的自定义图片分类模型,可让您针对特定使用场景进行定制。如需了解详情,请参阅使用机器学习套件自定义模型。自定义模型可以与您的应用捆绑在一起,也可以使用 Firebase Machine Learning 的模型部署服务从云端动态下载。
输入图片预处理
如果需要,图片标签会使用双线性图片缩放和拉伸来调整输入图片的大小和宽高比,使其满足底层模型的要求。