图像标签

借助机器学习套件的图片标签 API，您可以检测和提取图片中各种类别的实体的相关信息。默认的图片标签模型可以识别一般对象、地点、活动、动物物种、商品等。

您还可以使用自定义图片分类模型来针对特定使用场景定制检测。如需了解详情，请参阅使用自定义 TensorFlow Lite 模型。

主要功能

  • 一个强大的通用基分类器，可以识别 400 多个描述照片中最常见对象的类别。
  • 使用自定义模型，根据您的使用场景量身定制 使用 TensorFlow Hub 中的其他预训练模型，或使用通过 TensorFlow、AutoML Vision Edge 或 TensorFlow Lite Model Maker 训练的自定义模型。
  • 易用的高级别 API 无需处理低级别模型输入/输出、图像预处理和后处理，也无需构建处理流水线。机器学习套件从 TensorFlow Lite 模型中提取标签，并以文本描述的形式提供这些标签。

请注意，此 API 适用于描述完整图片的图片分类模型。如需对图片中的一个或多个对象（例如鞋子或家具）进行分类，Object Detection & Tracking API 可能更合适。

支持的图片分类模型

Image Labeling API 支持不同的图片分类模型：

支持的图片分类模型
基本模型 默认情况下，该 API 使用强大的通用图片标签模型，该模型可识别 400 多个实体，这些实体涵盖了照片中最常见的概念。
自定义 TensorFlow Lite 模型 为了确定应用特定概念的目标，该 API 接受来自各种来源的自定义图片分类模型。这些模型可以是从 TensorFlow Hub 下载的预训练模型，也可以是您自己的使用 AutoML Vision Edge、TensorFlow Lite Model Maker 或 TensorFlow 本身训练的模型。模型可以与您的应用捆绑在一起，也可以通过 Firebase Machine Learning 托管并在运行时下载。

使用基本模型

机器学习套件的基本模型会返回可识别人物、事物、地点、活动等的实体列表。每个实体都有一个得分，表示机器学习模型对其相关性的置信度。利用这些信息，您可以执行自动元数据生成和内容审核等任务。机器学习套件提供的默认模型可识别 400 多个不同的实体。

iOS Android

示例标签

图片标签 API 中的基本模型支持 400 多个标签，如以下示例所示：

Category示例标签
用户 Crowd
Selfie
Smile
活动 Dancing
Eating
Surfing
Things Car
Piano
Receipt
动物 Bird
Cat
Dog
植物 Flower
Fruit
Vegetable
地点 Beach
Lake
Mountain

示例结果

以下是在附带照片中识别到的实体的示例。

照片：Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
标签 0
Text 体育馆
提升信心 0.9205354
标签 1
Text 运动场所
提升信心 0.7531109
标签 2
Text 事件
提升信心 0.66905296
标签 3
Text 休闲
提升信心 0.59904146
标签 4
Text 英式足球
提升信心 0.56384534
标签 5
Text 净指标
提升信心 0.54679185
标签 6
Text 植物
提升信心 0.524364

使用自定义 TensorFlow Lite 模型

机器学习套件的基本图片标签模型专为通用用途而构建。其经过训练能够识别 400 个类别，这些类别用于描述照片中最常见的对象。您的应用可能需要一个专用的图片分类模型，该模型可以更详细地识别较小数量的类别，例如区分花卉种类或食品类型的模型。

此 API 支持来自各种来源的自定义图片分类模型，可让您针对特定使用场景进行定制。如需了解详情，请参阅使用机器学习套件自定义模型。自定义模型可以与您的应用捆绑在一起，也可以使用 Firebase Machine Learning 的模型部署服务从云端动态下载。

iOS Android

输入图片预处理

如果需要，图片标签会使用双线性图片缩放和拉伸来调整输入图片的大小和宽高比，使其满足底层模型的要求。