Scene Semantics API in Ihren eigenen Apps verwenden
Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers besser verstehen, indem sie auf ML-Modellen basierende semantische Echtzeitinformationen bereitstellt. Bei einem Bild einer Außenszene gibt die API ein Label für jedes Pixel über eine Reihe nützlicher semanischer Klassen wie Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug, Person usw. zurück. Zusätzlich zu den Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine benutzerfreundliche Methode, um die Verbreitung eines bestimmten Labels in einer Außenszene abzufragen.
Von links nach rechts sehen Sie Beispiele für ein Eingabebild, das semantische Bild von Pixellabels und das entsprechende Konfidenzbild:
Voraussetzungen
Machen Sie sich mit den grundlegenden AR-Konzepten und zur Konfiguration einer ARCore-Sitzung vertraut, bevor Sie fortfahren.
Szenensemantik aktivieren
Prüfen Sie in einer neuen ARCore-Sitzung, ob das Gerät eines Nutzers die Scene Semantics API unterstützt. Aufgrund von Einschränkungen bei der Verarbeitungsleistung unterstützen nicht alle ARCore-kompatiblen Geräte die Scene Semantics API.
Die Szenensemantik ist in ARCore standardmäßig deaktiviert, um Ressourcen zu sparen. Aktivieren Sie den semantischen Modus, damit Ihre Anwendung die Scene Semantics API verwendet.
Setzen Sie in ARCoreExtensionsConfig den Semantics Mode auf „Enabled“.
Wenn Sie iOS verwenden, muss Semantics auch in den Projekteinstellungen aktiviert sein:
- Gehen Sie zu Bearbeiten > Projekteinstellungen > XR-Plug-In-Verwaltung > ARCore-Erweiterungen.
- Wählen Sie unter Optionale Funktionen die Option Semantik für iOS aus.
Semantisches Bild abrufen
Sobald die Szenensemantik aktiviert ist, kann das semantische Bild abgerufen werden. Das semantische Bild ist ein TextureFormat.R8
-Bild, wobei jedes Pixel einem durch SemanticLabel
definierten semantischen Label entspricht.
Verwenden Sie ArSemanticManager.TryGetSemanticTexture()
, um das semantische Bild abzurufen:
if (semanticManager.TryGetSemanticTexture(out Texture2D semanticImage))
{
using (semanticImage)
{
// Use the semantic image here.
}
}
Semantische Ausgabebilder sollten je nach Gerät etwa ein bis drei Frames nach Beginn der Sitzung verfügbar sein.
Bild zum Konfidenzintervall abrufen
Zusätzlich zum semantischen Bild, das für jedes Pixel ein Label bereitstellt, stellt die API auch ein Konfidenzbild der entsprechenden Pixelkonfidenzwerte bereit. Das Konfidenzbild ist ein TextureFormat.Alpha8
-Bild, wobei jedes Pixel einem Wert im Bereich [0, 255]
entspricht, der der Wahrscheinlichkeit entspricht, die dem semantischen Label für jedes Pixel zugeordnet ist.
Verwenden Sie ArSemanticManager.TryGetSemanticConfidenceTexture()
, um das semantische Konfidenzbild abzurufen:
if (semanticManager.TryGetSemanticConfidenceTexture(out Texture2D semanticConfidenceImage))
{
using (semanticConfidenceImage)
{
// Use the semantic confidence image here.
}
}
Konfidenzbilder für die Ausgabe sollten je nach Gerät etwa ein bis drei Frames nach Beginn der Sitzung verfügbar sein.
Den Pixelanteil nach einem semantischen Label abfragen
Sie können auch den Anteil der Pixel im aktuellen Frame abfragen, der zu einer bestimmten Klasse wie z. B. sky gehört. Diese Abfrage ist effizienter, als das semantische Bild zurückzugeben und eine pixelweise Suche nach einem bestimmten Label durchzuführen. Der zurückgegebene Bruch ist eine Gleitkommazahl im Bereich [0.0, 1.0]
.
Verwenden Sie ArSemanticManager.GetSemanticLabelFraction()
, um den Bruch eines bestimmten Labels abzurufen:
var fraction = semanticManager.GetSemanticLabelFraction(SemanticLabel.SKY);