透過 Scene Semantics API 瞭解使用者環境's 環境

平台專屬指南

場景語意

開發人員可透過場景語意 API 瞭解使用者周遭的場景,這項功能是許多高品質 AR 體驗的必要條件。場景語意 API 建構於機器學習模型,可提供即時語意資訊,補足 ARCore 中現有的幾何資訊。

當您提供戶外場景的圖片時,API 會針對每個像素傳回一系列實用的語意類別標籤,例如天空、建築物、樹木、道路、人行道、車輛、人物等。除了像素標籤外,場景語意 API 還會為每個像素標籤提供信心值,並提供簡單易用的查詢方式,可查詢特定標籤在戶外場景中的盛行率。

從左到右為輸入圖片範例、像素標籤的語意圖片,以及對應的可信度圖片:

語意圖片範例

開發人員可透過場景語意 API 識別特定場景元件,例如道路和人行道 (用於引導使用者穿越不熟悉的城市)、人物和車輛 (用於在動態物體上呈現遮蔽效果)、天空 (用於在任何時間創造日落效果),以及建築物 (用於修改外觀和錨定虛擬物件)。

語意標籤和品質

Scene Semantics API 提供多個標籤,每個標籤都有對應的品質或可靠度。一般來說,ML 模型更能預測較大、較常見的物件/表面類別,而非較小或較罕見的物件/表面類別。這些課程可分為下列品質等級,從高到低依序為:

語意標籤品質等級
主要場景元件
  • 天空
  • 建構中
  • 道路
  • 交通工具
主要場景詳細資料
  • 人行道
  • 地形
  • 結構
次要場景詳細資料
  • 物件
  • 使用者圖示

裝置相容性

Scene Semantics API 與 Depth API 共用支援的裝置清單。如需支援這兩種 API 的裝置最新清單,請參閱 ARCore 支援的裝置頁面。

支援的用途

影像語意 API 適用於下列情境:

  1. 室外場景:僅支援戶外場景,不適用於室內用途。

  2. 直向:僅應用於裝置的預設方向模式 (即直向)。系統不保證橫向模式中的語意標籤品質。