Guias específicos para plataformas
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
Unreal Engine
Um aspecto importante para criar experiências de RA realistas é acertar a iluminação. Quando um objeto virtual não tem uma sombra ou tem um material brilhante que não reflete o espaço ao redor, os usuários percebem que o objeto não se encaixa, mesmo que não consigam explicar o motivo. Isso ocorre porque os humanos percebem subconscientemente dicas sobre como os objetos são iluminados no ambiente. A API Lighting Estimation analisa as imagens para essas dicas, fornecendo informações detalhadas sobre a iluminação em uma cena. Você pode usar essas informações ao renderizar objetos virtuais para iluminá-los nas mesmas condições da cena em que eles estão colocados, mantendo os usuários conectados e engajados.
Sinais de iluminação
A API Lighting Estimation fornece dados detalhados que permitem imitar várias dicas de iluminação ao renderizar objetos virtuais. Essas dicas são sombras, luz ambiente, sombreamento, destaques especulares e reflexos.
Sombras
As sombras geralmente são direcionais e informam aos espectadores de onde vêm as fontes de luz.
Luz ambiente
A luz ambiente é a luz difusa geral que vem de todo o ambiente, tornando tudo visível.
Sombreamento
O sombreamento é a intensidade da luz. Por exemplo, diferentes partes do mesmo objeto podem ter diferentes níveis de sombreamento na mesma cena, dependendo do ângulo em relação ao espectador e da proximidade de uma fonte de luz.
Reflexos especulares
Os destaques especulares são os pontos brilhantes das superfícies que refletem uma fonte de luz diretamente. Os destaques em um objeto mudam em relação à posição de um espectador em uma cena.
Reflexões
A luz rebate nas superfícies de maneira diferente, dependendo se a superfície tem propriedades especular (alta refletividade) ou difusa (não refletora). Por exemplo, uma bola metálica será altamente especular e refletirá o ambiente, enquanto outra bola pintada de cinza fosco será difusa. A maioria dos objetos do mundo real tem uma combinação dessas propriedades. Pense em uma bola de boliche arranhada ou um cartão de crédito muito usado.
As superfícies reflexivas também captam cores do ambiente. A cor de um objeto pode ser afetada diretamente pela cor do ambiente. Por exemplo, uma bola branca em um ambiente azul vai ter uma tonalidade azulada.
Modo HDR do ambiente
Esses modos consistem em APIs separadas que permitem a estimativa de iluminação granular e realista para iluminação direcional, sombras, destaques especulares e reflexos.
O modo HDR de ambiente usa o aprendizado de máquina para analisar as imagens da câmera em tempo real e sintetizar a iluminação do ambiente para oferecer renderização realista de objetos virtuais.
Esse modo de estimativa de iluminação oferece:
Luz direcional principal. Representa a fonte de luz principal. Pode ser usado para criar sombras.
Harmônicos esféricos ambientais. Representa a energia de luz ambiente restante na cena.
Um cubomap HDR. Pode ser usado para renderizar reflexos em objetos metálicos brilhantes.
É possível usar essas APIs em diferentes combinações, mas elas foram projetadas para serem usadas juntas para um efeito mais realista.
Luz direcional principal
A API de luz direcional principal calcula a direção e a intensidade da fonte de luz principal da cena. Essas informações permitem que objetos virtuais na cena mostrem realces especulares posicionados de forma razoável e projetem sombras em uma direção consistente com outros objetos reais visíveis.
Para entender como isso funciona, considere estas duas imagens do mesmo foguete virtual. Na imagem à esquerda, há uma sombra sob o foguete, mas a direção dela não corresponde às outras sombras na cena. No foguete à direita, a sombra aponta na direção correta. É uma diferença sutil, mas importante, e ela ancora o foguete na cena porque a direção e a intensidade da sombra correspondem melhor a outras sombras na cena.
Quando a fonte de luz principal ou um objeto iluminado está em movimento, o destaque especular no objeto ajusta a posição em tempo real em relação à fonte de luz.
As sombras direcionais também ajustam o comprimento e a direção em relação à posição da fonte de luz principal, assim como no mundo real. Para ilustrar esse efeito, considere estes dois manequins, um virtual e outro real. O manequim à esquerda é o virtual.
Harmônicos esféricos ambientais
Além da energia da luz na luz direcional principal, o ARCore fornece harmônicos esféricos, representando a luz ambiente geral que vem de todas as direções na cena. Use essas informações durante a renderização para adicionar dicas sutis que mostrem a definição de objetos virtuais.
Considere estas duas imagens do mesmo modelo de foguete. O foguete à esquerda é renderizado usando informações de estimativa de iluminação detectadas pela API principal de luz direcional. O foguete à direita é renderizado usando informações detectadas pelas APIs de luz de direção principal e harmônicos esféricos ambientais. O segundo foguete tem uma definição visual mais clara e se mistura melhor à cena.
Cubemap HDR
Use o mapa de cubo HDR para renderizar reflexos realistas em objetos virtuais com brilho médio a alto, como superfícies metálicas brilhantes. O mapa de cubos também afeta o sombreamento e a aparência dos objetos. Por exemplo, o material de um objeto especular cercado por um ambiente azul vai refletir tons azuis. O cálculo do cubemap HDR requer uma pequena quantidade de computação de CPU extra.
O uso do cubemap HDR depende de como um objeto reflete o ambiente. Como o foguete virtual é metálico, ele tem um componente especular forte que reflete diretamente o ambiente ao redor. Assim, ele se beneficia do cubemap. Por outro lado, um objeto virtual com um material fosco cinza opaco não tem um componente especular. A cor depende principalmente do componente de difusão e não se beneficia de um mapa de cubo.
Todas as três APIs Environmental HDR foram usadas para renderizar o foguete abaixo. O mapa de cubo HDR permite as dicas de reflexão e destaca ainda mais o objeto na cena.
Confira o mesmo modelo de foguete em ambientes com iluminação diferente. Todas essas cenas foram renderizadas usando informações das três APIs, com sombras direcionais aplicadas.
Modo de intensidade do som ambiente
O modo "Ambient Intensity" determina a intensidade média de pixels e os escalares de correção de cor de uma determinada imagem. É uma configuração grosseira projetada para casos de uso em que a iluminação precisa não é essencial, como objetos com iluminação integrada.
Intensidade do pixel
Captura a intensidade média de pixels da iluminação em uma cena. É possível aplicar essa iluminação a um objeto virtual inteiro.
Cor
Detecta o balanço de branco de cada frame. É possível corrigir a cor de um objeto virtual para que ele se integre melhor à coloração geral da cena.
Sondas de ambiente
As sondas de ambiente organizam as vistas de câmera de 360 graus em texturas de ambiente, como mapas de cubo. Essas texturas podem ser usadas para iluminar objetos virtuais de maneira realista, como uma bola de metal virtual que "reflete" o ambiente em que está.