Mit der Gesichtserkennung können Gesichter in visuellen Medien wie digitalen Bildern oder Videos lokalisiert werden. Wenn ein Gesicht erkannt wird, sind Position, Größe und Ausrichtung mit ihm verknüpft und es kann nach Orientierungspunkten wie Augen und Nase gesucht werden.
Im Folgenden finden Sie einige der Begriffe, die wir in Bezug auf die Gesichtserkennung von ML Kit verwenden:
Die Gesichtserkennung dehnt die Gesichtserkennung auf Videosequenzen aus. Jedes Gesicht, das unabhängig von der Länge in einem Video zu sehen ist, kann von Frame zu Frame verfolgt werden. Das bedeutet, dass ein in aufeinanderfolgenden Videoframes erkanntes Gesicht mit derselben Person identifiziert werden kann. Beachten Sie, dass dies keine Form der Gesichtserkennung ist. Die Gesichtserkennung leitet nur auf Grundlage der Position und Bewegung der Gesichter in einer Videosequenz Rückschlüsse.
Ein Sehenswürdigkeit ist ein POI innerhalb eines Gesichts. Das linke und das rechte Auge und die Nase sind Beispiele für Orientierungspunkte. ML Kit bietet die Möglichkeit, Sehenswürdigkeiten auf einem erkannten Gesicht zu finden.
Eine Kontur ist eine Gruppe von Punkten, die der Form eines Gesichtsmerkmals folgen. Mit ML Kit können Sie die Konturen von Flächen erkennen.
Die Klassifizierung bestimmt, ob ein bestimmtes Gesichtsmerkmal vorhanden ist. Ein Gesicht kann beispielsweise anhand dessen klassifiziert werden, ob seine Augen offen oder geschlossen sind oder ob das Gesicht lächelt oder nicht.
Gesichtsausrichtung
Die folgenden Begriffe beschreiben den Winkel, der ein Gesicht in Bezug auf die Kamera zeigt:
- Euler X: Eine Fläche mit einem positiven Euler-X-Winkel ist nach oben gerichtet.
- Euler Y: Ein Gesicht mit einem positiven Euler-Y-Winkel sieht in die rechte Seite der Kamera oder nach links, wenn es negativ ist.
- Euler Z: Eine Fläche mit einem positiven Euler-Z-Winkel ist relativ zur Kamera gegen den Uhrzeigersinn gedreht.
ML Kit meldet den Euler-X-, Euler-Y- oder Euler-Z-Winkel eines erkannten Gesichts nicht, wenn LANDMARK_MODE_NONE, CONTOUR_MODE_ALL, CLASSIFICATION_MODE_NONE und PERFORMANCE_MODE_FAST zusammen festgelegt sind.
Landmarken
Eine Sehenswürdigkeit ist ein interessanter Punkt innerhalb eines Gesichts. Das linke Auge, das rechte Auge und die Nasenbasis sind Beispiele für Orientierungspunkte.
ML Kit erkennt Gesichter, ohne nach Sehenswürdigkeiten zu suchen. Die Erkennung von Sehenswürdigkeiten ist ein optionaler Schritt, der standardmäßig deaktiviert ist.
In der folgenden Tabelle sind alle Orientierungspunkte zusammengefasst, die beim Euler-Y-Winkel eines zugehörigen Gesichts erkannt werden können:
| Euler-Y-Winkel | Erkennbare Sehenswürdigkeiten |
|---|---|
| < -36 Grad | linkes Auge, linker Mund, linkes Ohr, Nasenbasis, linke Wange |
| -36 bis -12 Grad | linker Mund, Nasenbasis, unterer Mund, rechtes Auge, linkes Auge, linke Wange, linker Ohreinsatz |
| -12 bis 12 Grad | rechtes Auge, linkes Auge, Nasenbasis, linke Wange, rechte Wange, linker Mund, rechter Mund, unterer Mund |
| 12 bis 36 Grad | rechter Mund, Nasenbasis, unterer Mund, linkes Auge, rechtes Auge, rechte Wange, rechter Ohreinsatz |
| > 36 Grad | rechtes Auge, rechter Mund, rechtes Ohr, Nasenbasis, rechte Wange |
Jede erkannte Sehenswürdigkeit enthält ihre zugehörige Position im Bild.
Umrisse
Eine Kontur ist eine Reihe von Punkten, die die Form eines Gesichtsmerkmals darstellen. Die folgende Abbildung zeigt, wie diese Punkte einem Gesicht zugeordnet werden. Klicken Sie auf das Bild, um es zu vergrößern:
Jede von ML Kit erkannte Featurekontur wird durch eine feste Anzahl von Punkten dargestellt:
| Ovales Gesicht | 36 Punkte | Oberlippe (oben) | 11 Punkte |
|---|---|---|---|
| Linke Augenbraue (oben) | 5 Punkte | Oberlippe (unten) | 9 Punkte |
| Linke Augenbraue (unten) | 5 Punkte | Unterlippe (oben) | 9 Punkte |
| Rechte Augenbraue (oben) | 5 Punkte | Unterlippe (unten) | 9 Punkte |
| Rechte Augenbraue (unten) | 5 Punkte | Nasenbrücke | 2 Punkte |
| Linkes Auge | 16 Punkte | Nase unten | 3 Punkte |
| Rechtes Auge | 16 Punkte | ||
| Linke Wange (mittig) | 1 Punkt | ||
| Rechte Wange (mittig) | 1 Punkt |
Wenn Sie alle Konturen einer Fläche auf einmal abrufen, erhalten Sie ein Array von 133 Punkten, die wie unten dargestellt Konturen enthalten können:
| Indexe der Featurekonturen | |
|---|---|
| 0-35 | Ovales Gesicht |
| 36-40 | Linke Augenbraue (oben) |
| 41-45 | Linke Augenbraue (unten) |
| 46-50 | Rechte Augenbraue (oben) |
| 51-55 | Rechte Augenbraue (unten) |
| 56-71 | Linkes Auge |
| 72-87 | Rechtes Auge |
| 88-96 | Oberlippe (unten) |
| 97-105 | Unterlippe (oben) |
| 106-116 | Oberlippe (oben) |
| 117-125 | Unterlippe (unten) |
| 126, 127 | Nasenbrücke |
| 128-130 | Nase unten (beachten Sie, dass sich der Mittelpunkt an Indexposition 128 befindet) |
| 131 | Linke Wange (mittig) |
| 132 | Rechte Wange (mittig) |
Klassifizierung
Durch die Klassifizierung wird bestimmt, ob ein bestimmtes Gesichtsmerkmal vorhanden ist. ML Kit unterstützt derzeit zwei Klassifizierungen: offene Augen und Lächeln.
Klassifizierung ist ein Sicherheitswert. Sie zeigt die Zuversicht auf eine Gesichtseigenschaft an. Zum Beispiel bedeutet ein Wert von 0,7 oder höher für die Klassifizierung „Lächeln“, dass es wahrscheinlich ist, dass eine Person lächelt.
Beide Klassifizierungen basieren auf der Erkennung von Sehenswürdigkeiten.
Beachten Sie auch, dass die Klassifizierungen "offene Augen" und "Lächeln" nur für Frontalaufnahmen funktionieren, d.h. Gesichter mit einem kleinen Euler-Y-Winkel (zwischen -18 und 18 Grad).
Minimale Flächengröße
Die minimale Gesichtsgröße ist die gewünschte Gesichtsgröße, ausgedrückt als Verhältnis der Breite des Kopfes zur Breite des Bildes. Beispielsweise bedeutet ein Wert von 0,1, dass die kleinste zu suchende Fläche etwa 10% der Breite des gesuchten Bildes ausmacht.
Bei der Mindestgröße für Flächen handelt es sich um einen Kompromiss zwischen Leistung und Genauigkeit: Wenn Sie die Mindestgröße verringern, kann der Detektor kleinere Gesichter finden, die Erkennung dauert jedoch länger. Wenn Sie die Mindestgröße erhöhen, werden kleinere Gesichter möglicherweise ausgeschlossen, die Ausführung erfolgt jedoch schneller.
Die Mindestgröße für Gesichter ist keine feste Grenze. Der Detektor kann Gesichter finden, die etwas kleiner als angegeben sind.
Nächste Schritte
So verwenden Sie die Gesichtserkennung in Ihrer iOS- oder Android-App: