Guides spécifiques à chaque plate-forme
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (fondation de RA)
L'API Scene Semantics permet aux développeurs de comprendre la scène qui entoure l'utilisateur, ce qui est nécessaire pour de nombreuses expériences de RA de haute qualité. Basée sur un modèle de ML, l'API Scene Semantics fournit des informations sémantiques en temps réel qui complètent les informations géométriques existantes dans ARCore.
À partir d'une image d'une scène en plein air, l'API renvoie une étiquette pour chaque pixel dans un ensemble de classes sémantiques utiles (ciel, bâtiment, arbre, route, trottoir, véhicule, personne, etc.). En plus des étiquettes de pixel, l'API Scene Semantics fournit des valeurs de confiance pour chaque étiquette de pixel, ainsi qu'un moyen simple d'interroger la prévalence d'une étiquette donnée dans une scène en plein air.
De gauche à droite, voici des exemples d'image d'entrée, l'image sémantique des étiquettes de pixels et l'image de confiance correspondante:
Grâce à l'API Scene Semantics, les développeurs peuvent identifier des composants de scène spécifiques, tels que des routes et des trottoirs, pour aider un utilisateur à parcourir une ville inconnue, des personnes et des véhicules pour afficher des occlusions sur des objets dynamiques, le ciel pour créer un coucher de soleil à tout moment de la journée, et des bâtiments pour modifier leur apparence et ancrer des objets virtuels.
Étiquettes sémantiques et qualité
L'API Scene Semantics fournit plusieurs étiquettes, chacune ayant une qualité ou une fiabilité correspondante. En règle générale, le modèle de ML est mieux à même de prédire des classes d'objets/surfaces plus grands et plus courants que les classes d'objets/surfaces plus petits ou plus rares. Les classes peuvent être regroupées dans les niveaux de qualité suivants, classés par ordre décroissant:
| Niveaux de qualité des libellés sémantiques | |
|---|---|
| Composants de la scène principale |
|
| Détails de la scène majeure |
|
| Détails de la scène mineure |
|
Compatibilité avec les appareils
L'API Scene Semantics partage la même liste d'appareils compatibles que l'API Depth. Veuillez consulter la page Appareils compatibles ARCore pour obtenir la liste à jour des appareils compatibles avec les deux API.
Cas d'utilisation compatibles
L'API Scene Semantics est conçue pour être utilisée dans les scénarios suivants:
Scènes d'extérieur: ne concerne que les scènes extérieures et n'est pas destinée à être utilisée en intérieur.
Orientation portrait: à utiliser uniquement dans le mode d'orientation par défaut de l'appareil (portrait). La qualité des étiquettes sémantiques n'est pas garantie en mode Paysage.