Benutzerdefinierte Texturen und 3D-Modelle für Augmented Faces erstellen

Wenn Sie Augmented Faces implementieren möchten, benötigen Sie benutzerdefinierte Texturen und Modelle, die auf erkannte Gesichtsmeshes gelegt werden. Diese Assets werden von Künstlern im Voraus in 3D-Modellierungs- und Animationssoftware erstellt und als FBX-Dateien exportiert.

Kanonische Dateien

Die SDKs werden mit einer canonical_face_mesh.fbx- und einer canonical_face_mesh.psd-Datei ausgeliefert, damit Künstler Assets erstellen können, die korrekt auf von ARCore erkannten Gesichtern eingeblendet werden. Diese Dateien befinden sich im Ordner assets/canonical_face_mesh.fbx.

3D-Modelle mit der HDFS-Datei erstellen

Die FBX-Datei enthält die Topologie des Gesichts-Mesh, UV-Texturkoordinaten und einen Rig, der die unterstützten Gesichtsregionen definiert, die zum Erstellen und Anhängen von Assets verwendet werden. Damit sie mit ARCore kompatibel sind, sollten FBX-Dateien mit unterstützten Einstellungen gespeichert werden.

Diese Datei enthält eine Referenz facemesh, die nicht als Teil der finalen FBX-Datei exportiert werden sollte. ARCore generiert und aktualisiert zur Laufzeit ein separates Face Mesh.

2D-Texturen mit der PSD-Datei erstellen

Mit der .psd-Referenztextur für das Gesichts-Mesh wird angezeigt, wie sich eine vom Künstler erstellte Textur bei der Laufzeit mit den Gesichtsmerkmalen eines Nutzers überschneidet. Es umfasst vier Ebenen:

  • Maske:Zeigt an, wo sich Augen, Nasenlöcher und Mund in der Textur befinden.
  • Linien:Richtlinien, die zeigen, wie die Gesichtsmerkmale des Nutzers während der Laufzeit der Textur entsprechen.
  • UVs:Stellt die Triangulation des 468-Punkt-Meshes für die Gesichtstextur dar.
  • Hintergrund:Eine neutral graue Hintergrundebene, die die anderen drei Komponenten visuell hervorhebt.

Wenn Sie die PSD-Datei ändern, sollten Ihre Änderungen unmittelbar nach dem Export zu sehen sein.

Kanonisches Face Mesh anpassen

Wenn Modelle und Texturen mit dem im SDK enthaltenen assets/canonical_face_mesh.fbx erstellt werden, sind diese Einstellungen auch beim Exportieren von FBX-Dateien erforderlich:

  • Achten Sie darauf, dass alle benutzerdefinierten Mesh-Netzwerke an die zugehörigen Knochen oder Regionen angepasst sind.

  • Verwenden Sie die folgende Hierarchie:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • Exportieren Sie das enthaltene facemesh-Modell nicht. Dieses Mesh dient nur zu Referenzzwecken. ARCore erstellt zur Laufzeit ein separates Gesichts-Mesh. Verwenden Sie die UVs in facemesh als Referenz, wenn Sie benutzerdefinierte Gesichts-Mesh-Texturen erstellen.

  • Platzieren Sie benutzerdefinierte 3D-Modelle als untergeordnete Elemente des Knotens asset.

  • Die Verwendung von Namespaces wird unterstützt.

  • Das Asset enthält vier Knochen, die aus den Regionen root und NOSE_TIP, FOREHEAD_RIGHT und FOREHEAD_LEFT bestehen. Ändern Sie die Namen dieser Knochen nicht.