Aprenda a usar Augmented Faces para renderizar recursos sobre rostos humanos no seu próprio app.
Pré-requisitos
Entenda os conceitos básicos de RA e como configurar uma sessão do ARCore antes de continuar.
Detectar rostos
Os rostos são representados por objetos ARFace que são criados, atualizados e removidos pelo ARFaceManager. Uma vez por frame, o ARFaceManager invoca um evento facesChanged que contém três listas: rostos que foram adicionados, rostos que foram atualizados e rostos que foram removidos desde o último frame. Quando o ARFaceManager detecta um rosto na cena, ele instancia um Prefab com um componente ARFace anexado para rastrear o rosto. O Prefab pode ser deixado null.
Para configurar o ARFaceManager, crie um novo objeto de jogo e adicione o ARFaceManager a ele.
Face Prefab é o prefab instanciado na pose central do rosto. Maximum Face Count representa a quantidade máxima de rostos que podem ser rastreados.
Acessar rostos detectados
Acesse os rostos detectados pelo componente ARFace, que é anexado ao modelo pré-fabricado de rosto. ARFace fornece vértices, índices, normais de vértices e coordenadas de textura.
Partes de um rosto detectado
A API Augmented Faces oferece uma pose central, três poses de região e uma malha de rosto 3D.
Posição central
A pose central, que marca o centro da cabeça de um usuário, é o ponto de origem do prefab instanciado pelo ARFaceManager. Ele está localizado dentro do crânio, atrás do nariz.
Os eixos da pose central são os seguintes:
- O eixo X positivo (X+) aponta para o ouvido esquerdo
- O eixo Y positivo (Y+) aponta para cima, para fora do rosto
- O eixo Z positivo (Z+) aponta para o centro da cabeça
Poses de região
Localizadas na testa esquerda, testa direita e ponta do nariz, as poses de região marcam partes importantes do rosto de um usuário. As poses da região seguem a mesma orientação do eixo da pose central.
Para usar as poses de região, transmita o subsistema ARFaceManager para ARCoreFaceSubsystem e use subsystem.GetRegionPoses() para receber informações de pose de cada região. Para conferir um exemplo de como fazer isso, consulte o exemplo de uso do Unity no GitHub.
Malha de rosto 3D
A malha de rostos consiste em 468 pontos que compõem um rosto humano. Ela também é definida em relação à pose central.
Para visualizar a malha da face, anexe um ARFaceMeshVisualizer ao Face Prefab. O ARFaceMeshVisualizer vai gerar um Mesh que corresponde ao rosto detectado, definindo-o como a malha nos MeshFilters e MeshColliders anexados. Use um MeshRenderer para definir o Material usado para renderizar o rosto.
O AR Default Face Prefab renderiza um material padrão em malhas de rosto detectadas.
Siga estas etapas para começar a usar o mostrador padrão de RA:
- Configure um
ARFaceManager. Na guia Hierarchy, use + > XR > AR Default Face para criar um novo objeto de rosto. Esse objeto é temporário e poderá ser excluído depois que você criar o Prefab de rosto.
Acesse o AR Default Face no inspetor.
Arraste o rosto padrão de RA recém-criado da guia Hierarchy para a janela Project Assets para criar um Prefab.
Defina o prefab recém-criado como o prefab do rosto no campo Face Prefab do
ARFaceManager.Na guia Hierarchy, exclua o objeto de rosto, já que ele não é mais necessário.
Acessar vértices individuais da malha da face
Use face.vertices para acessar as posições dos vértices da malha facial. Use face.normals para acessar os vértices normais correspondentes.
Visualizar vértices individuais da malha facial
Você pode usar o Blender para conferir facilmente os números de índice que correspondem aos vértices de uma malha de faces:
- Abra o Blender e importe o
canonical_face_mesh.fbxdo GitHub. - Navegue para Edit > Preferences > Interface.
No menu Display, selecione Developer Extras.
Selecione o rosto clicando nele na visualização 3D e pressione Tab para entrar no modo de edição.
Abra o menu suspenso ao lado da viewport Overlays e selecione Indices.
Destaque o vértice cujo número de índice você quer determinar. Para destacar todos os vértices, use Select > All.