Guias específicos da plataforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (fundação de RA)
A API Scene Semantics permite que os desenvolvedores entendam a cena ao redor do usuário, o que é necessário para muitas experiências de RA de alta qualidade. Criada com base em um modelo de ML, a API Scene Semantics fornece informações semânticas em tempo real, que complementam as informações geométricas existentes no ARCore.
Dada uma imagem de uma cena externa, a API retorna um rótulo para cada pixel em um conjunto de classes semânticas úteis, como céu, edifício, árvore, estrada, calçada, veículo, pessoa e muito mais. Além dos rótulos de pixel, a API Scene Semantics também oferece valores de confiança para cada rótulo de pixel e uma maneira fácil de usar de consultar a prevalência de um determinado rótulo em uma cena externa.
Da esquerda para a direita, exemplos de uma imagem de entrada, a imagem semântica de rótulos de pixel e a imagem de confiança correspondente:
Com a API Scene Semantics, os desenvolvedores podem identificar componentes de cena específicos, como estradas e calçadas, para ajudar a guiar um usuário por uma cidade desconhecida, pessoas e veículos para renderizar oclusões em objetos dinâmicos, o céu para criar um pôr do sol a qualquer hora do dia e edifícios para modificar a aparência e ancorar objetos virtuais.
Rótulos e qualidade semânticos
A API Scene Semantics fornece vários rótulos, cada um com uma qualidade ou confiabilidade correspondente. Geralmente, o modelo de ML é mais capaz de prever classes de objetos/superfícies maiores e mais comuns do que classes de objetos/superfícies menores ou mais raras. As classes podem ser agrupadas nos seguintes níveis de qualidade, classificados em ordem decrescente:
| Níveis de qualidade do rótulo semântico | |
|---|---|
| Principais componentes da cena |
|
| Detalhes da cena principal |
|
| Detalhes da cena secundária |
|
Compatibilidade do dispositivo
A API Scene Semantics compartilha a mesma lista de dispositivos compatíveis que a API Depth. Consulte a página Dispositivos compatíveis com o ARCore para ver uma lista atualizada dos dispositivos compatíveis com as duas APIs.
Casos de uso com suporte
A API Scene Semantics foi projetada para uso nos seguintes cenários:
Cenas externas: oferece suporte apenas a cenas externas e não se destina a casos de uso internos.
Orientação retrato: só deve ser usada no modo de orientação padrão do dispositivo (por exemplo, retrato). A qualidade dos rótulos semânticos não é garantida no modo paisagem.