平台專屬指南
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API 可讓開發人員瞭解使用者周遭的場景,才能提供許多高品質 AR 體驗。Scene Semantics API 以機器學習模型為基礎,可提供即時語意資訊,補充 ARCore 中現有的幾何圖形資訊。
假設有室外場景的圖片,API 會傳回一系列實用語意類別 (如天空、建築物、樹、道路、人行道、車輛、人物等) 中的每個像素標籤。除了像素標籤之外,Sene Semantics API 也提供每個像素標籤的可信度值,而且可讓您輕鬆查詢在戶外場景中特定標籤的盛行情況。
從左到右查看輸入圖片範例、像素標籤的語意圖片,以及對應的可信度圖片:
開發人員可透過 Scene Semantics API 辨識特定場景組成,例如道路和人行道來引導使用者穿越陌生城市、人和車輛在動態物體上呈現遮蔽物、每天任何時候建立日落,以及修改建築物的外觀和錨點虛擬物體。
語意標籤與品質
Scene Semantics API 提供多個標籤,每個標籤都有相對應的品質或可靠性。一般來說,相較於較小或較罕見的物件/途徑的類別,機器學習模型較能預測較大且較常見的物件/途徑的類別。類別可分成下列品質等級,由高至低排名:
語意標籤品質等級 | |
---|---|
主要場景元件 |
|
主要場景詳細資料 |
|
次要場景詳細資料 |
|
裝置相容性
Scene Semantics API 會與 Depth API 分享支援的裝置清單。如需支援這兩種 API 的最新裝置清單,請參閱 ARCore 支援的裝置頁面。
支援的用途
Scene Semantics API 可在下列情境中使用:
戶外場景:僅支援戶外場景,不適用於室內用途。
直向:僅應用於裝置的預設螢幕方向 (即直向) 模式。橫向模式不保證能達到語意標籤的品質。