Guias específicos da plataforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
A API Scene Semantics permite que os desenvolvedores entendam a cena ao redor do usuário, o que é necessário para muitas experiências de RA de alta qualidade. Criada com base em um modelo de ML, a API Scene Semantics fornece informações semânticas em tempo real, que complementam as informações geométricas existentes no ARCore.
Dada uma imagem de uma cena externa, a API retorna um rótulo para cada pixel em um conjunto de classes semânticas úteis, como céu, edifício, árvore, estrada, calçada, veículo, pessoa e muito mais. Além dos rótulos de pixel, a API Scene Semantics também oferece valores de confiança para cada rótulo de pixel e uma maneira fácil de consultar a prevalência de um determinado rótulo em uma cena externa.
Da esquerda para a direita, exemplos de uma imagem de entrada, a imagem semântica dos rótulos de pixel e a imagem de confiança correspondente:
Com a API Scene Semantics, os desenvolvedores podem identificar componentes específicos da cena, como estradas e calçadas para ajudar a guiar um usuário por uma cidade desconhecida, pessoas e veículos para renderizar obstruções em objetos dinâmicos, céu para criar um pôr do sol a qualquer hora do dia e edifícios para modificar a aparência e ancorar objetos virtuais.
Rótulos semânticos e qualidade
A API Scene Semantics oferece vários rótulos, cada um com uma qualidade ou confiabilidade correspondente. Em geral, o modelo de ML consegue prever melhor classes de objetos/superfícies maiores e mais comuns do que classes de objetos/superfícies menores ou mais raros. As classes podem ser agrupadas nos seguintes níveis de qualidade, classificados em ordem decrescente:
| Níveis de qualidade do rótulo semântico | |
|---|---|
| Principais componentes da cena |
|
| Detalhes da cena principal |
|
| Detalhes da cena |
|
Compatibilidade do dispositivo
A API Scene Semantics compartilha a mesma lista de dispositivos compatíveis da API Depth. Consulte a página Dispositivos compatíveis com o ARCore para conferir uma lista atualizada de dispositivos que oferecem suporte às duas APIs.
Casos de uso com suporte
A API Scene Semantics foi projetada para uso nos seguintes cenários:
Cenas externas: oferece suporte apenas a cenas externas e não é destinado a casos de uso internos.
Orientação retrato: só pode ser usado no modo de orientação padrão do dispositivo (ou seja, retrato). A qualidade dos rótulos semânticos não é garantida para o modo paisagem.