透過 Scene Semantics API 瞭解使用者環境's 環境

平台專屬指南

場景語意

Scene Semantics API 可讓開發人員瞭解使用者的周遭環境，這是許多優質 AR 體驗所需的資訊。Scene Semantics API 以機器學習模型為基礎，提供即時語意資訊，可補充 ARCore 中現有的幾何資訊。

針對戶外場景的圖片，API 會為一系列實用的語意類別 (例如天空、建築物、樹木、道路、人行道、車輛、人形等) 傳回每個像素的標籤。除了像素標籤以外，Scee Semantics API 還提供每個像素標籤的可信度值，以及方便在戶外場景中查詢特定標籤使用率的簡易方法。

從左到右為輸入圖片範例、像素標籤的語意圖片，以及對應的可信度圖片：

語意圖片範例

開發人員可透過 Scene Semantics API 找出特定場景元件 (例如道路和人行道)，引導使用者通過陌生城市、在動態物體上呈現遮蔽物、在動態物體上呈現遮蔽處的天空，以及從建築物修改外觀和錨點虛擬物體。

語意標籤和品質

Scene Semantics API 提供多個標籤，每個標籤都有對應的品質或可靠性。一般來說，與較小或罕見物件/介面的類別相比，機器學習模型對於較大型、較常見的物件/介面類別較有利的預測。這些類別可分為下列品質等級，由高至低排列：

Scene Semantics API 與 Depth API 共用支援的裝置清單。如需最新支援這兩種 API 的裝置清單，請參閱「ARCore 支援裝置」頁面。

Scene Semantics API 適用於以下情境：