Face Mesh-Erkennung NEU

Mit der Face Mesh Detection API von ML Kit können Sie in Echtzeit ein hochpräzises Mesh-Netzwerk mit 468 3D-Punkten für Selfie-ähnliche Bilder erstellen. Gesichter sollten sich nicht weiter als ca. 7 m von der Kamera entfernt befinden.

Wenn Sie Gesichter erfassen möchten, die mehr als ca. 2 m von der Kamera entfernt sind, finden Sie weitere Informationen unter Gesichtswiedererkennungs-SDK von ML Kit.

Im Folgenden finden Sie einige Begriffe, die in Bezug auf die Funktion der Gesichtserkennungserkennung verwendet werden:

  • Der Begrenzungsrahmen ist ein rechteckiger Bereich für ein erkanntes Gesicht.
  • Gesichternetzinformationen sind eine Gruppe von 468 3D-Punkten und -Kanten, die zum Zeichnen des Geometrienetzes für ein erkanntes Gesicht verwendet werden können.

Die Face Mesh Detection API generiert ein Face Mesh für erkannte Gesichter, die jeweils 468 3D-Punkte und Kanten enthalten. Mit der Gesichtserkennung können Sie genauere Vorgänge in Echtzeit ausführen, z. B. AR-Filter, Selfieaufnahmen und Videoanrufe.

Android

Hauptmerkmale

  • Gesichter erkennen und suchen: Hiermit erhalten Sie den Begrenzungsrahmen für erkannte Gesichter in einem Selfie-ähnlichen Bild.
  • Informationen zu Gesichtsnetzen abrufen: Für jedes erkannte Gesicht werden die 468-Punkte und die Dreiecksfunktion angezeigt.
  • Videoframes in Echtzeit verarbeiten: Die Mesh-Erkennung von Gesichtern wird auf dem Gerät durchgeführt und ist schnell genug für Echtzeitanwendungen wie die Videobearbeitung.

Beispielergebnisse

Eingabe Ausgabe (Modus „Nur Begrenzungsrahmen“) Ausgabe (Modus „Mesh Mesh“)

Vergleich mit dem ML Kit Gesichtserkennungs-SDK

Gesichtserkennungs-API Gesichtserkennungs-API
Anwendungsfall empfohlen (Beispiele)
  • AR-Effekte für Gesichter im Videostreaming generieren
  • Gesichtswiedererkennung in Selfie-ähnlichen Bildern (Gesicht innerhalb von ca. 2 m)
  • Erkennt, wie viele Gesichter in einem Bild vorhanden sind
  • Gesichter in größerer Entfernung zur Kamera erkennen
Latenz Niedrig (~14 ms auf Pixel 3)

Empfohlen für Echtzeit

Mittel (~60 ms auf Pixel 3, wenn der Schnellmodus AN ist)
Empfohlene Eingabe Gesichter, die ca. 2 Meter entfernt sind Jedes Bild mit Gesichtern
Ausgabe von Gesichtspunkten Für jedes Gesicht 468 3D-Punkte und Dreieckinformationen im Modus „Gesichts Meshe“. 133 2D-Punkte für jedes Gesicht, wenn der Gesichtskonturmodus aktiviert ist
# Gesichter erkannt
  • "Nur Begrenzungsrahmen&modus: >=1 Begrenzungsrahmen, solange Gesichter nah an der Kamera liegen (<= ~2 m entfernt)
  • Gesichtsgittermodus: max. 2 Begrenzungsrahmen und Mesh-Netzwerke, solange sich Gesichter in der Nähe der Kamera befinden (ca. 2 m entfernt)
  • "Bounding-Box-Modus: >=1; Gesichter können weit von der Kamera entfernt sein, aber Mindestgröße von 100 × 100 Pixeln pro Gesicht
  • Gesichtskonturen: max. 1, wenn sich Gesichter in der Nähe der Kamera befinden
Tracking-ID Nein Ja
Gesichtsausrichtung Nein Ja
Gesichterklassifizierung (z.B. Lächeln) Nein Ja
Implementierungsmöglichkeiten Nur im Set Gebündelt / Unbündelt
App-Größe Gebündelt: ~6,4 MB

Nicht gebündelt: noch nicht verfügbar

Gebündelt: ~6,9 MB

Ungebündelt: ~0,6 MB