Plattformspezifische Leitfäden
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
iOS
Unreale Engine
Mit der Augmented Faces API können Sie Assets auf menschlichen Gesichtern rendern, ohne spezielle Hardware zu verwenden. Sie bietet Funktionspunkte, mit denen deine App automatisch verschiedene Bereiche eines erkannten Gesichts identifizieren kann. Ihre App kann diese Bereiche dann verwenden, um Assets so einzublenden, dass sie der Kontur eines einzelnen Gesichts entsprechen.
Anwendungsfälle
Mit der gesichtsbasierten AR kannst du eine Vielzahl von Anwendungsfällen nutzen – von Beauty- und Zubehöranproben bis hin zu Gesichtsfiltern und Effekten, die Nutzer gemeinsam mit ihren Freunden erleben können. Sie können beispielsweise 3D-Modelle und eine Textur verwenden, um die Merkmale eines Fuchses über das Gesicht eines Nutzers zu legen.
Das Modell besteht aus zwei Fuchsohren und einer Fuchsnase. Jedes ist ein separates Knochen die einzeln bewegt werden können, um dem jeweiligen Gesichtsbereich zu folgen.
Die Textur besteht aus Lidschatten, Sommersprossen und anderen Färbungen.
Während der Laufzeit erkennt die Augmented Faces API das Gesicht eines Nutzers und überlagert sowohl die Textur als auch die Modelle.
Bestandteile eines erweiterten Gesichts
Die Augmented Faces API bietet eine mittlere Position, drei Regionspositionen und ein 3D-Gesichtsnetz.
Zentrieren
Sie befindet sich hinter der Nase und markiert die Mitte des Kopfes der Nutzenden. Verwenden Sie diese Funktion, um Assets wie einen Hut auf dem Kopf zu rendern.
Regions-Posen
Die Regionspositionen befinden sich auf der linken Stirn, der rechten Stirn und der Nasenspitze und markieren wichtige Gesichtsbereiche der Nutzenden. Damit kannst du Assets auf der Nase oder um die Ohren rendern.
Face Mesh
Mit dem dichten 3D-Gesichtsnetz mit 468 Punkten kannst du anpassungsfähige, detaillierte Texturen zeichnen, die genau einem Gesicht folgen – zum Beispiel, wenn du eine virtuelle Brille hinter einem bestimmten Teil der Nase auflegst. Das Mesh-Netzwerk erfasst genügend detaillierte 3D-Informationen, sodass Sie dieses virtuelle Bild problemlos rendern können.
