Plattformspezifische Anleitungen
Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers erkennen, was für viele hochwertige AR-Anwendungen erforderlich ist. Die Scene Semantics API basiert auf einem ML-Modell und bietet semantische Informationen in Echtzeit, die die vorhandenen geometrischen Informationen in ARCore ergänzen.
Wenn Sie ein Bild einer Außenszene angeben, gibt die API für jedes Pixel ein Label für eine Reihe nützlicher semantischer Klassen zurück, z. B. Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug oder Person. Neben Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine nutzerfreundliche Möglichkeit, die Häufigkeit eines bestimmten Labels in einer Außenszene abzufragen.
Von links nach rechts: Beispiele für ein Eingabebild, das semantische Bild der Pixellabels und das entsprechende Konfidenzbild:
Mit der Scene Semantics API können Entwickler bestimmte Szenenkomponenten identifizieren, z. B. Straßen und Bürgersteige, um Nutzer durch eine unbekannte Stadt zu leiten, Personen und Fahrzeuge, um Objekte zu verdecken, den Himmel, um zu jeder Tageszeit einen Sonnenuntergang zu simulieren, und Gebäude, um ihr Aussehen zu ändern und virtuelle Objekte zu verankern.
Semantische Labels und Qualität
Die Scene Semantics API bietet mehrere Labels mit jeweils einer entsprechenden Qualität oder Zuverlässigkeit. Im Allgemeinen kann das ML-Modell Klassen größerer, häufiger Objekte/Oberflächen besser vorhersagen als Klassen kleinerer oder seltenerer Objekte/Oberflächen. Die Klassen können in die folgenden Qualitätsstufen eingeteilt werden, sortiert von hoch nach niedrig:
| Qualitätsstufen für semantische Labels | |
|---|---|
| Hauptkomponenten der Szene |
|
| Wichtige Szenendetails |
|
| Nebensächliche Szenendetails |
|
Gerätekompatibilität
Die Liste der unterstützten Geräte für die Scene Semantics API ist mit der der Depth API identisch. Auf der Seite ARCore-unterstützte Geräte finden Sie eine aktuelle Liste der Geräte, die beide APIs unterstützen.
Unterstützte Anwendungsfälle
Die Scene Semantics API ist für die folgenden Szenarien konzipiert:
Außenszenen: Unterstützt nur Außenszenen und ist nicht für Anwendungsfälle in Innenräumen vorgesehen.
Hochformat: Sollte nur im Standardausrichtungsmodus des Geräts (d.h. Hochformat) verwendet werden. Die Qualität semantischer Labels kann im Querformat nicht garantiert werden.