Esta página vai orientar você na criação de um aplicativo de RA imersivo simples usando o WebXR.
Você precisará de um ambiente de desenvolvimento compatível com o WebXR para começar.
Criar uma página HTML
O WebXR requer a interação do usuário para iniciar uma sessão.
Crie um botão que chame activateXR()
. Depois de carregar a página, o usuário poderá usar esse botão para iniciar a experiência de RA.
Crie um novo arquivo com o nome index.html
e adicione o seguinte código HTML:
<!doctype html>
<html>
<head>
<meta charset="UTF-8">
<meta name="viewport"
content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
<title>Hello WebXR!</title>
<!-- three.js -->
<script src="https://unpkg.com/three@0.126.0/build/three.js"></script>
</head>
<body>
<!-- Starting an immersive WebXR session requires user interaction.
We start this one with a simple button. -->
<button onclick="activateXR()">Start Hello WebXR</button>
<script>
async function activateXR() {
// Add a canvas element and initialize a WebGL context that is compatible with WebXR.
const canvas = document.createElement("canvas");
document.body.appendChild(canvas);
const gl = canvas.getContext("webgl", {xrCompatible: true});
// To be continued in upcoming steps.
}
</script>
</body>
</html>
Inicializar três.js
Muita coisa acontece quando o botão "Iniciar" é pressionado. Para configurar um ambiente 3D, é possível usar uma biblioteca de renderização para exibir uma cena.
Neste exemplo, você vai usar a three.js
, uma biblioteca de renderização JavaScript 3D que oferece um renderizador WebGL. O Three.js
lida com renderização, câmeras e gráficos de cena, facilitando a exibição de conteúdo 3D na Web.
Criar uma cena
Um ambiente 3D é geralmente modelado como uma cena. Crie um THREE.Scene
que contenha elementos de RA.
O código a seguir permite olhar para uma caixa colorida não iluminada em RA.
Adicione este código à parte de baixo da função activateXR()
:
const scene = new THREE.Scene();
// The cube will have a different color on each side.
const materials = [
new THREE.MeshBasicMaterial({color: 0xff0000}),
new THREE.MeshBasicMaterial({color: 0x0000ff}),
new THREE.MeshBasicMaterial({color: 0x00ff00}),
new THREE.MeshBasicMaterial({color: 0xff00ff}),
new THREE.MeshBasicMaterial({color: 0x00ffff}),
new THREE.MeshBasicMaterial({color: 0xffff00})
];
// Create the cube and add it to the demo scene.
const cube = new THREE.Mesh(new THREE.BoxBufferGeometry(0.2, 0.2, 0.2), materials);
cube.position.set(1, 1, 1);
scene.add(cube);
Configurar a renderização usando três.js
Para visualizar essa cena em RA, você precisa de um renderizador e uma câmera. O renderizador usa a WebGL para desenhar sua cena na tela. A câmera descreve a janela de visualização em que a cena é visualizada.
Adicione este código à parte de baixo da função activateXR()
:
// Set up the WebGLRenderer, which handles rendering to the session's base layer.
const renderer = new THREE.WebGLRenderer({
alpha: true,
preserveDrawingBuffer: true,
canvas: canvas,
context: gl
});
renderer.autoClear = false;
// The API directly updates the camera matrices.
// Disable matrix auto updates so three.js doesn't attempt
// to handle the matrices independently.
const camera = new THREE.PerspectiveCamera();
camera.matrixAutoUpdate = false;
Criar uma XRSession
O ponto de entrada para o WebXR é pelo XRSystem.requestSession()
. Use o modo immersive-ar
para permitir que o conteúdo renderizado seja visualizado em um ambiente real.
Um XRReferenceSpace
descreve o sistema de coordenadas usado para objetos no mundo virtual.
O modo 'local'
é mais adequado para uma experiência de RA com um espaço de referência que tem uma origem próxima ao espectador e um acompanhamento estável.
Para criar XRSession
e XRReferenceSpace
, adicione este código à parte de baixo da função activateXR()
:
// Initialize a WebXR session using "immersive-ar".
const session = await navigator.xr.requestSession("immersive-ar");
session.updateRenderState({
baseLayer: new XRWebGLLayer(session, gl)
});
// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');
Renderizar a cena
Agora você pode renderizar o cenário. XRSession.requestAnimationFrame()
programa um callback que é executado quando o navegador está pronto para renderizar um frame.
Durante o callback do frame da animação, chame XRFrame.getViewerPose()
para ver a pose do visualizador em relação ao espaço de coordenadas local.
Ele é usado para atualizar a câmera de cena, mudando a forma como o usuário visualiza o mundo virtual antes que o renderizador desenhe a cena usando a câmera atualizada.
Adicione este código à parte de baixo da função activateXR()
:
// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {
// Queue up the next draw request.
session.requestAnimationFrame(onXRFrame);
// Bind the graphics framebuffer to the baseLayer's framebuffer
gl.bindFramebuffer(gl.FRAMEBUFFER, session.renderState.baseLayer.framebuffer)
// Retrieve the pose of the device.
// XRFrame.getViewerPose can return null while the session attempts to establish tracking.
const pose = frame.getViewerPose(referenceSpace);
if (pose) {
// In mobile AR, we only have one view.
const view = pose.views[0];
const viewport = session.renderState.baseLayer.getViewport(view);
renderer.setSize(viewport.width, viewport.height)
// Use the view's transform matrix and projection matrix to configure the THREE.camera.
camera.matrix.fromArray(view.transform.matrix)
camera.projectionMatrix.fromArray(view.projectionMatrix);
camera.updateMatrixWorld(true);
// Render the scene with THREE.WebGLRenderer.
renderer.render(scene, camera)
}
}
session.requestAnimationFrame(onXRFrame);
Executar o Hello WebXR
Navegue até o arquivo WebXR no seu dispositivo. Você verá um cubo colorido de todos os lados.
Adicionar um teste de hit
Uma maneira comum de interagir com o mundo da RA é por meio de um hit test, que encontra uma interseção entre um raio e uma geometria do mundo real. No Hello WebXR, você vai usar um teste de hit para colocar um girassol no mundo virtual.
Remover o cubo de demonstração
Remova o cubo não iluminado e substitua-o por uma cena que inclua iluminação:
const scene = new THREE.Scene();
const directionalLight = new THREE.DirectionalLight(0xffffff, 0.3);
directionalLight.position.set(10, 15, 10);
scene.add(directionalLight);
Usar o recurso hit-test
Para inicializar a funcionalidade de teste de hit, solicite a sessão com o recurso hit-test
. Encontre o fragmento requestSession()
anterior e adicione hit-test
a ele:
const session = await navigator.xr.requestSession("immersive-ar", {requiredFeatures: ['hit-test']});
Adicionar um carregador de modelos
No momento, o cenário contém apenas um cubo colorido. Para tornar a experiência mais interessante, adicione um carregador de modelos, que permita o carregamento de modelos GLTF.
Na tag <head>
do documento, adicione GLTFLoader
da três.js.
<!-- three.js -->
<script src="https://unpkg.com/three@0.126.0/build/three.js"></script>
<script src="https://unpkg.com/three@0.126.0/examples/js/loaders/GLTFLoader.js"></script>
Carregar modelos GLTF
Use o carregador de modelos da etapa anterior para carregar um retículo de segmentação e um girassol da Web.
Adicione este código acima de onXRFrame
:
const loader = new THREE.GLTFLoader();
let reticle;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/reticle/reticle.gltf", function(gltf) {
reticle = gltf.scene;
reticle.visible = false;
scene.add(reticle);
})
let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
flower = gltf.scene;
});
// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {
Criar uma origem de teste de hit
Para calcular interseções com objetos reais, crie um XRHitTestSource
usando
XRSession.requestHitTestSource()
.
O raio usado para o teste de hit tem o espaço de referência viewer
como origem, o que significa que o teste de hit é feito no centro da janela de visualização.
Para criar uma origem de teste de hit, adicione este código depois de criar o espaço de referência local
:
// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');
// Create another XRReferenceSpace that has the viewer as the origin.
const viewerSpace = await session.requestReferenceSpace('viewer');
// Perform hit testing using the viewer as origin.
const hitTestSource = await session.requestHitTestSource({ space: viewerSpace });
Como desenhar um retículo de alvo
Para deixar claro onde o girassol será colocado, adicione um retículo de alvo à cena. Esse retículo parecerá estar preso a superfícies do mundo real, indicando onde o girassol estará ancorado.
XRFrame.getHitTestResults
retorna uma matriz de XRHitTestResult
e expõe interseções com geometria do mundo real.
Use essas interseções para posicionar o retículo de segmentação em cada frame.
camera.projectionMatrix.fromArray(view.projectionMatrix);
camera.updateMatrixWorld(true);
const hitTestResults = frame.getHitTestResults(hitTestSource);
if (hitTestResults.length > 0 && reticle) {
const hitPose = hitTestResults[0].getPose(referenceSpace);
reticle.visible = true;
reticle.position.set(hitPose.transform.position.x, hitPose.transform.position.y, hitPose.transform.position.z)
reticle.updateMatrixWorld(true);
}
Como adicionar interações com um toque
XRSession
recebe eventos select
quando o usuário conclui uma ação principal.
Em uma sessão de RA, isso corresponde a um toque na tela.
Faça um novo girassol aparecer quando o usuário tocar na tela adicionando este código durante a inicialização:
let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
flower = gltf.scene;
});
session.addEventListener("select", (event) => {
if (flower) {
const clone = flower.clone();
clone.position.copy(reticle.position);
scene.add(clone);
}
});
Testar o teste de hit
Use seu dispositivo móvel para acessar a página. Depois que o WebXR entender o ambiente, o retículo deverá aparecer em superfícies reais. Toque na tela para posicionar um girassol, que pode ser visto de todos os lados.
Próximas etapas
- Leia as especificações da API WebXR Device.
- Confira a documentação de referência do WebXR nos documentos da Web do MDN.
- Teste os exemplos do WebXR (link em inglês).
- Crie um app de realidade aumentada (RA) usando a API WebXR Device (codelab).