Guias específicos da plataforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (fundação de RA)
A API Scene Semantics permite que os desenvolvedores entendam o cenário ao redor do usuário, o que é necessário para muitas experiências de RA de alta qualidade. Criada com base em um modelo de ML, a API Scene Semantics fornece informações semânticas em tempo real, que complementam as informações geométricas existentes no ARCore.
Dada uma imagem de um cenário externo, a API retorna um rótulo para cada pixel em um conjunto de classes semânticas úteis, como céu, edifício, árvore, estrada, calçada, veículo, pessoa e muito mais. Além dos identificadores de pixel, a API Scene Semantics também oferece valores de confiança para cada rótulo de pixel e uma maneira fácil de consultar a prevalência de um determinado rótulo em uma cena ao ar livre.
Da esquerda para a direita, exemplos de uma imagem de entrada, a imagem semântica dos rótulos de pixel e a imagem de confiança correspondente:
Com a API Scene Semantics, os desenvolvedores podem identificar componentes específicos da cena, como vias e calçadas, para ajudar a guiar o usuário por uma cidade desconhecida, pessoas e veículos para renderizar oclusões em objetos dinâmicos, o céu para criar um pôr do sol a qualquer hora e edifícios para modificar a aparência e fixar objetos virtuais.
Rótulos semânticos e qualidade
A API Scene Semantics fornece vários rótulos, cada um com uma qualidade ou confiabilidade correspondente. Geralmente, o modelo de ML é mais capaz de prever classes de objetos/superfícies maiores e mais comuns do que classes de objetos/superfícies menores ou mais raros. As classes podem ser agrupadas nos seguintes níveis de qualidade, classificadas em ordem decrescente:
| Camadas de qualidade do rótulo semântico | |
|---|---|
| Principais componentes do cenário |
|
| Detalhes do cenário importante |
|
| Detalhes da cena secundária |
|
Compatibilidade do dispositivo
A API Scene Semantics compartilha a mesma lista de dispositivos com suporte que a API Depth. Consulte a página Dispositivos compatíveis com o ARCore para uma lista atualizada de dispositivos que oferecem suporte para as duas APIs.
Casos de uso com suporte
A API Scene Semantics foi projetada para uso nos seguintes cenários:
Cenas externas: oferece suporte apenas a cenas externas e não se destina a casos de uso internos.
Orientação de retrato: só deve ser usada no modo de orientação padrão do dispositivo (ou seja, retrato). A qualidade dos rótulos semânticos não é garantida no modo paisagem.