Pelajari cara menggunakan Tampilan Augmented untuk merender aset di atas wajah manusia di aplikasi Anda sendiri.
Prasyarat
Pastikan Anda memahami konsep dasar AR dan cara mengonfigurasi sesi ARCore sebelum melanjutkan.
Mendeteksi wajah
Wajah direpresentasikan oleh objek ARFace yang dibuat, diperbarui, dan dihapus oleh ARFaceManager. Sekali per frame, ARFaceManager memanggil peristiwa facesChanged yang berisi tiga daftar: wajah yang telah ditambahkan, wajah yang telah diperbarui, dan wajah yang telah dihapus sejak frame terakhir. Saat ARFaceManager mendeteksi wajah di adegan, instance Prefab dengan komponen ARFace akan terpasang untuk melacak wajah. Prefab dapat dibiarkan null.
Untuk menyiapkan ARFaceManager, buat objek game baru dan tambahkan ARFaceManager ke objek tersebut.
Face Prefab adalah Prefab yang dibuat instance-nya pada pose tengah wajah. Maximum Face Count mewakili jumlah maksimum wajah yang bisa dilacak.
Akses wajah yang terdeteksi
Akses yang terdeteksi wajah melalui komponen ARFace, yang dilampirkan ke Face Prefab. ARFace memberikan verteks, indeks, normal verteks, dan koordinat tekstur.
Bagian dari wajah yang terdeteksi
Augmented Faces API menyediakan pose tengah, tiga pose region, dan mesh wajah 3D.
Pose tengah
Pose tengah, yang menandai bagian tengah kepala pengguna, adalah titik asal Prefab yang dibuat instance-nya oleh ARFaceManager. Terletak di dalam tengkorak, di belakang hidung.
Sumbu pose tengah adalah sebagai berikut:
- Sumbu X positif (X+) mengarah ke telinga kiri
- Sumbu Y positif (Y+) mengarah ke atas keluar dari wajah
- Sumbu Z positif (Z+) mengarah ke bagian tengah kepala
Pose wilayah
Area yang terletak di dahi kiri, dahi kanan, dan ujung hidung ini menunjukkan bagian penting dari wajah pengguna. Pose region mengikuti orientasi sumbu yang sama dengan pose tengah.
Untuk menggunakan pose wilayah, turunkan subsistem ARFaceManager ke ARCoreFaceSubsystem dan gunakan subsystem.GetRegionPoses() untuk mendapatkan informasi pose untuk setiap wilayah. Untuk contoh cara melakukannya, lihat contoh penggunaan Unity di GitHub.
Mesh wajah 3D
Mesh wajah terdiri dari 468 titik yang membentuk wajah manusia. Ini juga ditentukan relatif terhadap pose tengah.
Untuk memvisualisasikan mesh wajah, lampirkan ARFaceMeshVisualizer ke Face Prefab. ARFaceMeshVisualizer akan menghasilkan Mesh yang sesuai dengan wajah yang terdeteksi, menyetelnya sebagai mesh pada MeshFilter dan MeshCollider yang dilampirkan. Gunakan MeshRenderer untuk menyetel Material yang digunakan untuk merender wajah.
AR Default Face Prefab merender materi default pada mesh wajah yang terdeteksi.
Ikuti langkah-langkah berikut untuk mulai menggunakan Wajah Default AR:
- Siapkan
ARFaceManager. Di tab Hierarchy, gunakan + > XR AR Default Face untuk membuat objek wajah baru. Objek ini bersifat sementara dan dapat dihapus setelah Anda membuat Face Prefab.
Akses AR Default Face di Inspector.
Tarik AR Default Face yang baru dibuat dari tab Hierarchy ke jendela Project Assets untuk membuat Prefab.
Tetapkan Prefab yang baru dibuat sebagai Face Prefab di kolom Face Prefab
ARFaceManager.Di tab Hierarchy, hapus objek wajah, karena tidak diperlukan lagi.
Mengakses setiap verteks mesh wajah
Gunakan face.vertices untuk mengakses posisi verteks mesh wajah. Gunakan face.normals untuk mengakses normal verteks yang sesuai.
Memvisualisasikan setiap verteks mesh wajah
Anda dapat menggunakan Blender untuk melihat nomor indeks yang sesuai dengan verteks mesh wajah dengan mudah:
- Buka Blender dan impor
canonical_face_mesh.fbxdari GitHub. - Buka Edit > Preferences > Interface
Di bagian menu Display, pilih Developer Extras.
Pilih wajah dengan mengkliknya di area pandang 3D, lalu tekan Tab untuk masuk ke Mode Edit.
Buka menu drop-down di samping area tampilan Overlays dan pilih Indices.
Soroti verteks yang nomor indeksnya ingin Anda tentukan. Untuk menandai semua verteks, gunakan Select > All.