Guides spécifiques à la plate-forme
Android (Kotlin/Java)
NDK Android (C)
iOS
Unity (AR Foundation)
L'API Scene Semantics permet aux développeurs de comprendre la scène qui entoure l'utilisateur, ce qui est nécessaire pour de nombreuses expériences de RA de haute qualité. Basée sur un modèle de ML, l'API Scene Semantics fournit des informations sémantiques en temps réel, qui complètent les informations géométriques existantes dans ARCore.
À partir d'une image d'une scène extérieure, l'API renvoie un libellé pour chaque pixel dans un ensemble de classes sémantiques utiles, comme le ciel, un bâtiment, un arbre, une route, un trottoir, un véhicule, une personne, etc. En plus des étiquettes de pixel, l'API Scene Semantics propose des valeurs de confiance pour chaque libellé de pixel et permet d'interroger facilement la prévalence d'une étiquette donnée dans une scène en extérieur.
De gauche à droite, des exemples d'image d'entrée, l'image sémantique des étiquettes de pixels et l'image de confiance correspondante:
Avec l'API Scene Semantics, les développeurs peuvent identifier des composants de scène spécifiques tels que des routes et des trottoirs pour guider un utilisateur dans une ville inconnue, des personnes et des véhicules pour afficher des occlusions sur des objets dynamiques, le ciel pour créer un coucher de soleil à tout moment de la journée, et des bâtiments pour modifier leur apparence et ancrer des objets virtuels.
Étiquettes sémantiques et qualité
L'API Scene Semantics fournit plusieurs libellés, chacun avec une qualité ou une fiabilité correspondante. En règle générale, le modèle de ML est mieux à même de prédire les classes d'objets/surfaces plus grands et plus courants que les classes d'objets/surfaces plus petits ou plus rares. Les classes peuvent être regroupées selon les niveaux de qualité suivants, classés par ordre décroissant:
| Niveaux de qualité des étiquettes sémantiques | |
|---|---|
| Composants de la scène principale |
|
| Détails de la scène principale |
|
| Détails mineurs de la scène |
|
Compatibilité avec les appareils
L'API Scene Semantics partage la même liste d'appareils compatibles que l'API Depth. Veuillez consulter la page Appareils compatibles ARCore pour obtenir la liste à jour des appareils compatibles avec les deux API.
Cas d'utilisation compatibles
L'API Scene Semantics est conçue pour être utilisée dans les scénarios suivants:
Scènes extérieures: ce mode n'est compatible qu'avec les scènes en extérieur et n'est pas destiné à une utilisation en intérieur.
Orientation portrait: à utiliser uniquement dans le mode d'orientation par défaut de l'appareil (portrait, par exemple). La qualité des étiquettes sémantiques n'est pas garantie en mode Paysage.