Plattformspezifische Leitfäden
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers verstehen, was für viele hochwertige AR-Erlebnisse erforderlich ist. Die Scene Semantics API basiert auf einem ML-Modell und bietet semantische Informationen in Echtzeit, die vorhandene geometrische Informationen in ARCore ergänzen.
Bei einem Bild einer Außenszene gibt die API ein Label für jedes Pixel über eine Reihe nützlicher semanischer Klassen zurück, z. B. Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug, Person und mehr. Zusätzlich zu den Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine einfache Möglichkeit, die Verbreitung eines bestimmten Labels in einer Außenszene abzufragen.
<ph type="x-smartling-placeholder">
Beispiele für ein Eingabebild, das semantische Bild von Pixellabels und das entsprechende Konfidenzbild (von links nach rechts):
Mit der Scene Semantics API können Entwickler bestimmte Szenenkomponenten wie Straßen und Bürgersteige identifizieren, um Nutzer durch unbekannte Städte, Menschen und Fahrzeuge zu führen, um dynamische Objekte zu verdecken, den Himmel, um zu jeder Tageszeit einen Sonnenuntergang zu erstellen, und Gebäude, um ihr Aussehen zu ändern und virtuelle Objekte zu verankern.
Semantische Labels und Qualität
Die Scene Semantics API bietet mehrere Labels mit jeweils einer entsprechenden Qualität oder Zuverlässigkeit. Im Allgemeinen ist das ML-Modell in der Lage, Klassen von größeren, häufigeren Objekten/Oberflächen besser vorherzusagen als Klassen von kleineren oder selteneren Objekten/Oberflächen. Die Klassen können in die folgenden Qualitätsstufen unterteilt werden:
| Semantische Labels – Qualitätsstufen | |
|---|---|
| Komponenten der Hauptszene |
|
| Wichtige Szenendetails |
|
| Details zu Nebenszenen |
|
Eingeschränkte Gerätekompatibilität
Die Scene Semantics API hat dieselbe Liste unterstützter Geräte wie die Depth API. Auf der Seite Mit ARCore unterstützte Geräte finden Sie eine aktuelle Liste der Geräte, die beide APIs unterstützen.
Unterstützte Anwendungsfälle
Die Scene Semantics API wurde für die folgenden Szenarien entwickelt:
Außenszenen: Unterstützt nur Außenaufnahmen und ist nicht für die Verwendung in Innenräumen vorgesehen.
Hochformat: Sollte nur im Standardausrichtungsmodus des Geräts verwendet werden, also Hochformat. Die Qualität semantischer Labels ist im Querformat nicht garantiert.