Panduan developer Augmented Faces untuk AR Foundation

Pelajari cara menggunakan Wajah Augmentasi untuk merender aset di atas wajah manusia di aplikasi Anda sendiri.

Prasyarat

Pastikan Anda memahami konsep AR dasar dan cara mengonfigurasi sesi ARCore sebelum melanjutkan.

Mendeteksi wajah

Wajah diwakili oleh objek ARFace yang dibuat, diperbarui, dan dihapus oleh ARFaceManager. Satu kali per frame, ARFaceManager memanggil peristiwa facesChanged yang berisi tiga daftar: wajah yang telah ditambahkan, wajah yang telah diperbarui, dan wajah yang telah dihapus sejak frame terakhir. Saat ARFaceManager mendeteksi wajah di adegan, instance Prefab dengan komponen ARFace akan terpasang untuk melacak wajah. Prefab dapat dibiarkan null.

Untuk menyiapkan ARFaceManager, buat objek game baru dan tambahkan ARFaceManager ke objek tersebut.

Face Prefab adalah Prefab yang dibuat instance-nya pada pose tengah wajah. Maximum Face Count mewakili jumlah maksimum wajah yang dapat dilacak.

Mengakses wajah yang terdeteksi

Akses wajah yang terdeteksi melalui komponen ARFace, yang dilampirkan ke Prefab Wajah. ARFace menyediakan vertex, indeks, normal vertex, dan koordinat tekstur.

Bagian dari wajah yang terdeteksi

Augmented Faces API menyediakan pose tengah, tiga pose wilayah, dan mesh wajah 3D.

Pose tengah

Pose tengah, yang menandai bagian tengah kepala pengguna, adalah titik asal Prefab yang dibuat instance-nya oleh ARFaceManager. Telinga tengah terletak di dalam tengkorak, di belakang hidung.

Sumbu pose tengah adalah sebagai berikut:

  • Sumbu X positif (X+) mengarah ke telinga kiri
  • Sumbu Y positif (Y+) mengarah ke atas dari wajah
  • Sumbu Z positif (Z+) mengarah ke bagian tengah kepala

Pose wilayah

Terletak di dahi kiri, dahi kanan, dan ujung hidung, pose wilayah menandai bagian penting dari wajah pengguna. Pose region mengikuti orientasi sumbu yang sama dengan pose tengah.

Untuk menggunakan pose wilayah, turunkan subsistem ARFaceManager ke ARCoreFaceSubsystem dan gunakan subsystem.GetRegionPoses() untuk mendapatkan informasi pose untuk setiap wilayah. Untuk contoh cara melakukannya, lihat contoh penggunaan Unity di GitHub.

Mesh wajah 3D

Mesh wajah terdiri dari 468 titik yang membentuk wajah manusia. Ini juga ditentukan secara relatif terhadap pose tengah.

Untuk memvisualisasikan mesh wajah, lampirkan ARFaceMeshVisualizer ke Face Prefab. ARFaceMeshVisualizer akan menghasilkan Mesh yang sesuai dengan wajah yang terdeteksi, menyetelnya sebagai mesh pada MeshFilter dan MeshCollider yang dilampirkan. Gunakan MeshRenderer untuk menetapkan Material yang digunakan untuk merender wajah.

AR Default Face Prefab merender materi default pada mesh wajah yang terdeteksi.

Ikuti langkah-langkah berikut untuk mulai menggunakan Wajah Default AR:

  1. Siapkan ARFaceManager.

  2. Di tab Hierarchy, gunakan + > XR > AR Default Face untuk membuat objek wajah baru. Objek ini bersifat sementara dan dapat dihapus setelah Anda membuat Prefab Wajah.

  3. Akses AR Default Face di Inspector.

  4. Tarik Wajah Default AR yang baru dibuat dari tab Hierarchy ke jendela Project Assets untuk membuat Prefab.

  5. Tetapkan Prefab yang baru dibuat sebagai Prefab Wajah di kolom Face Prefab ARFaceManager.

  6. Di tab Hierarchy, hapus objek wajah, karena tidak diperlukan lagi.

Mengakses setiap vertex mesh wajah

Gunakan face.vertices untuk mengakses posisi vertex mesh wajah. Gunakan face.normals untuk mengakses normal vertex yang sesuai.

Memvisualisasikan setiap vertex mesh wajah

Anda dapat menggunakan Blender untuk melihat nomor indeks yang sesuai dengan vertex mesh wajah dengan mudah:

  1. Buka Blender dan impor canonical_face_mesh.fbx dari GitHub.
  2. Buka Edit > Preferences > Interface

  3. Di menu Display, pilih Developer Extras.

  4. Pilih wajah dengan mengkliknya di area pandang 3D, lalu tekan Tab untuk masuk ke Mode Edit.

  5. Buka menu drop-down di samping area tampilan Overlays dan pilih Indices.

    Indeks mesh wajah bler

  6. Tandai vertex yang nomor indeksnya ingin Anda tentukan. Untuk menandai semua verteks, gunakan Select > All.