使用 Scene Semantics API 了解用户的环境

平台专用指南

场景语义

借助 Scene Semantics API，开发者可以了解用户周围的场景，这是许多高品质 AR 体验所必需的。Scene Semantics API 基于机器学习模型构建，可提供实时语义信息，以补充 ARCore 中的现有几何信息。

给定一张户外场景图片，该 API 会针对一组实用的语义类别（例如天空、建筑物、树木、道路、人行道、车辆、人等）为每个像素返回一个标签。除了像素标签之外，Scene Semantics API 还会为每个像素标签提供置信度值，并提供一种简单易用的方式来查询给定标签在户外场景中的普遍性。

从左到右：输入图片示例、像素标签的语义图像和相应的置信度图像：

语义图像示例

借助 Scene Semantics API，开发者可以识别特定场景组件，例如道路和人行道（用于帮助用户穿越陌生的城市）、人和车辆（用于在动态对象上渲染遮挡）、天空（用于在一天中的任何时间创建日落）、建筑物（用于修改其外观和锚定虚拟对象）。

语义标签和质量

Scene Semantics API 提供多个标签，每个标签都有相应的质量或可靠性。一般来说，与较小或较少见的物体/表面类别相比，ML 模型更擅长预测较大、较常见的物体/表面类别。这些类可以分为以下质量层级，从高到低依次排列：

Scene Semantics API 与 Depth API 共用相同的受支持设备列表。如需查看同时支持这两个 API 的设备的最新列表，请参阅 ARCore 支持的设备页面。

Scene Semantics API 专为以下场景而设计：