זיהוי פנים באמצעות ערכת ML Kit ב-Android

אתם יכולים להשתמש ב-ML Kit כדי לזהות פנים בתמונות ובסרטונים.

ה-API הזה זמין באמצעות ספרייה לא מקובצת שצריך להוריד לפני השימוש, או באמצעות ספרייה מקובצת שמגדילה את נפח האפליקציה. במדריך הזה מוסבר מה ההבדלים בין שתי אפשרויות ההתקנה.

תכונה	לא מקובצים	בחבילה
הטמעה	המודל יורד באופן דינמי דרך Google Play Services.	המודל מקושר באופן סטטי לאפליקציה בזמן ה-build.
גודל האפליקציה	הגודל גדל בכ-800KB.	הגודל גדל בכ-6.9MB.
זמן האתחול	יכול להיות שתצטרכו לחכות עד שהמודל יסיים לרדת לפני השימוש הראשון.	המודל זמין באופן מיידי

רוצה לנסות?

• כדי לראות דוגמה לשימוש ב-API הזה, אתם יכולים להתנסות באפליקציה לדוגמה.
• נסו את הקוד בעצמכם באמצעות codelab.

לפני שמתחילים

כדי להשתמש ב-API הזה, נדרשת רמת API‏ 23 ומעלה ב-Android. מוודאים שקובץ ה-build של האפליקציה כולל ערך minSdkVersion של 23 ומעלה.

1. בקובץ build.gradle ברמת הפרויקט, צריך לכלול את מאגר ה-Maven של Google בקטעים buildscript ו-allprojects.

2. מוסיפים את התלויות של ספריות Android של ML Kit לקובץ Gradle ברמת האפליקציה של המודול, שבדרך כלל נמצא ב-app/build.gradle. בוחרים באחד מהיחסי התלות הבאים, בהתאם לצרכים שלכם:

   כדי לכלול את המודל באפליקציה:

   dependencies {
     // ...
     // Use this dependency to bundle the model with your app
     implementation 'com.google.mlkit:face-detection:16.1.7'
   }
   

   כדי להשתמש במודל ב-Google Play Services:

   dependencies {
     // ...
     // Use this dependency to use the dynamically downloaded model in Google Play Services
     implementation 'com.google.android.gms:play-services-mlkit-face-detection:17.1.0'
   }
   

3. אם אתם בוחרים להשתמש במודל ב-Google Play Services, אתם יכולים להגדיר את האפליקציה כך שהמודל יורד אוטומטית למכשיר אחרי שהאפליקציה מותקנת מחנות Play. כדי לעשות את זה, מוסיפים את ההצהרה הבאה לקובץ AndroidManifest.xml של האפליקציה:

   <application ...>
         ...
         <meta-data
             android:name="com.google.mlkit.vision.DEPENDENCIES"
             android:value="face" >
         <!-- To use multiple models: android:value="face,model2,model3" -->
   </application>
   

   אתם יכולים גם לבדוק באופן מפורש את זמינות המודל ולבקש להוריד אותו דרך ModuleInstallClient API של Google Play Services.

   אם לא תפעילו הורדות של מודלים בזמן ההתקנה או תבקשו הורדה מפורשת, המודל יורד בפעם הראשונה שתפעילו את הגלאי. בקשות שתשלחו לפני שההורדה תסתיים לא יניבו תוצאות.

הנחיות לגבי תמונת הקלט

כדי לזהות פנים, צריך להשתמש בתמונה בגודל של לפחות 480x360 פיקסלים. כדי ש-ML Kit יזהה פנים בצורה מדויקת, תמונות הקלט צריכות להכיל פנים שמיוצגות על ידי מספיק נתוני פיקסלים. באופן כללי, כל פנים שרוצים לזהות בתמונה צריכים להיות בגודל של לפחות 100x100 פיקסלים. כדי לזהות את קווי המתאר של הפנים, ערכת ML Kit דורשת קלט ברזולוציה גבוהה יותר: כל פנים צריכות להיות בגודל של לפחות 200x200 פיקסלים.

אם אתם מזהים פנים באפליקציה בזמן אמת, כדאי גם להביא בחשבון את המידות הכוללות של תמונות הקלט. תמונות קטנות יותר מעובדות מהר יותר, כך שכדי לצמצם את זמן האחזור, כדאי לצלם תמונות ברזולוציות נמוכות יותר, אבל חשוב לזכור את דרישות הדיוק שלמעלה ולוודא שפני המצולם תופסים כמה שיותר מהתמונה. כדאי גם לעיין בטיפים לשיפור הביצועים בזמן אמת.

גם תמונה לא ממוקדת יכולה להשפיע על הדיוק. אם לא מתקבלות תוצאות קבילות, צריך לבקש מהמשתמש לצלם מחדש את התמונה.

גם הכיוון של הפנים ביחס למצלמה יכול להשפיע על תווי הפנים ש-ML Kit מזהה. מושגים בנושא זיהוי פנים

1. הגדרת גלאי הפנים

לפני שמפעילים את זיהוי הפנים על תמונה, אם רוצים לשנות את הגדרות ברירת המחדל של זיהוי הפנים, צריך לציין את ההגדרות האלה באמצעות אובייקט FaceDetectorOptions. אתם יכולים לשנות את ההגדרות הבאות:

הגדרות
setPerformanceMode	PERFORMANCE_MODE_FAST (ברירת מחדל) | PERFORMANCE_MODE_ACCURATE העדפת מהירות או דיוק בזיהוי פנים.
setLandmarkMode	LANDMARK_MODE_NONE (ברירת מחדל) | LANDMARK_MODE_ALL אם לנסות לזהות "נקודות ציון" בפנים: עיניים, אוזניים, אף, לחיים, פה וכו'.
setContourMode	CONTOUR_MODE_NONE (ברירת מחדל) | CONTOUR_MODE_ALL הגדרה שקובעת אם לזהות את קווי המתאר של תווי הפנים. קווי המתאר מזוהים רק בפנים הבולטות ביותר בתמונה.
setClassificationMode	CLASSIFICATION_MODE_NONE (ברירת מחדל) | CLASSIFICATION_MODE_ALL אם לסווג פנים לקטגוריות כמו "מחייך" ו "עיניים פקוחות".
setMinFaceSize	‫float (ברירת מחדל: 0.1f) הגדרת הגודל הקטן ביותר הרצוי של הפנים, ביחס בין רוחב הראש לרוחב התמונה.
enableTracking	‫false (ברירת מחדל) | true אם להקצות לפנים מזהה, שבו אפשר להשתמש כדי לעקוב אחרי פנים בתמונות. שימו לב שכאשר זיהוי קווי מתאר מופעל, רק פנים אחד מזוהה, כך שמעקב אחרי הבעות הפנים לא מפיק תוצאות שימושיות. לכן, וכדי לשפר את מהירות הזיהוי, אל תפעילו גם את זיהוי קווי המתאר וגם את מעקב אחרי הבעות הפנים.

לדוגמה:

Kotlin

// High-accuracy landmark detection and face classification
val highAccuracyOpts = FaceDetectorOptions.Builder()
        .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE)
        .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL)
        .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL)
        .build()

// Real-time contour detection
val realTimeOpts = FaceDetectorOptions.Builder()
        .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL)
        .build()
FaceDetectionActivity.kt

Java

// High-accuracy landmark detection and face classification
FaceDetectorOptions highAccuracyOpts =
        new FaceDetectorOptions.Builder()
                .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE)
                .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL)
                .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL)
                .build();

// Real-time contour detection
FaceDetectorOptions realTimeOpts =
        new FaceDetectorOptions.Builder()
                .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL)
                .build();
FaceDetectionActivity.java

2. הכנת התמונה שרוצים להעלות

כדי לזהות פנים בתמונה, יוצרים אובייקט InputImage מ-Bitmap, מ-media.Image, מ-ByteBuffer, ממערך בייטים או מקובץ במכשיר. לאחר מכן, מעבירים את האובייקט InputImage אל השיטה process של FaceDetector.

לזיהוי פנים, צריך להשתמש בתמונה בגודל של לפחות 480x360 פיקסלים. אם אתם מזהים פנים בזמן אמת, צילום פריימים ברזולוציה המינימלית הזו יכול לעזור לצמצם את זמן האחזור.

אפשר ליצור אובייקט InputImage ממקורות שונים, כפי שמוסבר בהמשך.

שימוש בmedia.Image

כדי ליצור אובייקט InputImage מאובייקט media.Image, למשל כשמצלמים תמונה במצלמה של המכשיר, מעבירים את האובייקט media.Image ואת סיבוב התמונה אל InputImage.fromMediaImage().

אם אתם משתמשים בספרייה CameraX, המחלקות OnImageCapturedListener ו-ImageAnalysis.Analyzer מחשבות את ערך הסיבוב בשבילכם.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

אם אתם לא משתמשים בספריית מצלמה שמספקת את זווית הסיבוב של התמונה, אתם יכולים לחשב אותה לפי זווית הסיבוב של המכשיר והכיוון של חיישן המצלמה במכשיר:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

לאחר מכן, מעבירים את האובייקט media.Image ואת ערך זווית הסיבוב אל InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

שימוש ב-URI של קובץ

כדי ליצור אובייקט InputImage מ-URI של קובץ, מעבירים את הקשר האפליקציה ואת ה-URI של הקובץ אל InputImage.fromFilePath(). זה שימושי כשמשתמשים ב-Intent מסוג ACTION_GET_CONTENT כדי לבקש מהמשתמש לבחור תמונה מאפליקציית הגלריה.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

שימוש ב-ByteBuffer או ב-ByteArray

כדי ליצור אובייקט InputImage מ-ByteBuffer או מ-ByteArray, קודם מחשבים את זווית הסיבוב של התמונה כמו שמתואר למעלה לגבי קלט media.Image. אחר כך יוצרים את האובייקט InputImage עם המאגר או המערך, יחד עם הגובה, הרוחב, פורמט קידוד הצבע וזווית הסיבוב של התמונה:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

שימוש בBitmap

כדי ליצור אובייקט InputImage מאובייקט Bitmap, צריך להצהיר על הדברים הבאים:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

התמונה מיוצגת על ידי אובייקט Bitmap יחד עם מעלות הסיבוב.

3. מקבלים מופע של FaceDetector

Kotlin

val detector = FaceDetection.getClient(options)
// Or, to use the default option:
// val detector = FaceDetection.getClient();
FaceDetectionActivity.kt

Java

FaceDetector detector = FaceDetection.getClient(options);
// Or use the default options:
// FaceDetector detector = FaceDetection.getClient();
FaceDetectionActivity.java

4. מעבדים את התמונה

מעבירים את התמונה ל-method‏ process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { faces ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }
FaceDetectionActivity.kt

Java

Task<List<Face>> result =
        detector.process(image)
                .addOnSuccessListener(
                        new OnSuccessListener<List<Face>>() {
                            @Override
                            public void onSuccess(List<Face> faces) {
                                // Task completed successfully
                                // ...
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });
FaceDetectionActivity.java

הערה: אם אתם משתמשים ב-API של CameraX, הקפידו לסגור את ImageProxy כשתסיימו להשתמש בו. לדוגמה, הוסיפו OnCompleteListener ל-Task שמוחזר מה-method‏ process. אפשר לראות דוגמה לכך במחלקה VisionProcessorBase באפליקציה לדוגמה במדריך למתחילים.

5. קבלת מידע על פנים שזוהו

אם פעולת זיהוי הפנים מצליחה, רשימה של אובייקטים מסוג Face מועברת למאזין להצלחה. כל אובייקט Face מייצג פנים שזוהו בתמונה. לכל פנים, אתם יכולים לקבל את הקואורדינטות התוחמות שלהם בתמונת הקלט, וגם כל מידע אחר שהגדרתם לגלאי הפנים למצוא. לדוגמה:

Kotlin

for (face in faces) {
    val bounds = face.boundingBox
    val rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees
    val rotZ = face.headEulerAngleZ // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    val leftEar = face.getLandmark(FaceLandmark.LEFT_EAR)
    leftEar?.let {
        val leftEarPos = leftEar.position
    }

    // If contour detection was enabled:
    val leftEyeContour = face.getContour(FaceContour.LEFT_EYE)?.points
    val upperLipBottomContour = face.getContour(FaceContour.UPPER_LIP_BOTTOM)?.points

    // If classification was enabled:
    if (face.smilingProbability != null) {
        val smileProb = face.smilingProbability
    }
    if (face.rightEyeOpenProbability != null) {
        val rightEyeOpenProb = face.rightEyeOpenProbability
    }

    // If face tracking was enabled:
    if (face.trackingId != null) {
        val id = face.trackingId
    }
}
FaceDetectionActivity.kt

Java

for (Face face : faces) {
    Rect bounds = face.getBoundingBox();
    float rotY = face.getHeadEulerAngleY();  // Head is rotated to the right rotY degrees
    float rotZ = face.getHeadEulerAngleZ();  // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    FaceLandmark leftEar = face.getLandmark(FaceLandmark.LEFT_EAR);
    if (leftEar != null) {
        PointF leftEarPos = leftEar.getPosition();
    }

    // If contour detection was enabled:
    List<PointF> leftEyeContour =
            face.getContour(FaceContour.LEFT_EYE).getPoints();
    List<PointF> upperLipBottomContour =
            face.getContour(FaceContour.UPPER_LIP_BOTTOM).getPoints();

    // If classification was enabled:
    if (face.getSmilingProbability() != null) {
        float smileProb = face.getSmilingProbability();
    }
    if (face.getRightEyeOpenProbability() != null) {
        float rightEyeOpenProb = face.getRightEyeOpenProbability();
    }

    // If face tracking was enabled:
    if (face.getTrackingId() != null) {
        int id = face.getTrackingId();
    }
}
FaceDetectionActivity.java

דוגמה לקווי מתאר של פנים

כשמפעילים זיהוי של קווי מתאר של פנים, מקבלים רשימה של נקודות לכל תווי פנים שזוהו. הנקודות האלה מייצגות את צורת התכונה. במאמר מושגים בנושא זיהוי פנים מוסבר איך מיוצגים קווי המתאר.

בתמונה הבאה אפשר לראות איך הנקודות האלה ממופות לפנים. כדי להגדיל את התמונה, לוחצים עליה:

זיהוי פנים בזמן אמת

אם אתם רוצים להשתמש בזיהוי פנים באפליקציה בזמן אמת, כדאי לפעול לפי ההנחיות הבאות כדי להשיג את קצב הפריימים הטוב ביותר:

• מגדירים את גלאי הפנים כך שישתמש בזיהוי קווי מתאר של הפנים או בזיהוי סיווג ונקודות ציון, אבל לא בשניהם:

  זיהוי קווי מתאר
  זיהוי ציוני דרך
  סיווג
  זיהוי ציוני דרך וסיווג
  זיהוי קווי מתאר וזיהוי ציוני דרך
  זיהוי קווי מתאר וסיווג
  זיהוי קווי מתאר, זיהוי ציוני דרך וסיווג
  

• מפעילים את מצב FAST (מופעל כברירת מחדל).

• כדאי לצלם תמונות ברזולוציה נמוכה יותר. עם זאת, חשוב לזכור גם את הדרישות של ה-API הזה לגבי מידות התמונה.

אם אתם משתמשים ב-API של Camera או של camera2, כדאי להגביל את הקריאות לגלאי. אם פריים חדש של סרטון הופך לזמין בזמן שהגלאי פועל, צריך להשמיט את הפריים. אפשר לראות דוגמה לכך במחלקה VisionProcessorBase באפליקציה לדוגמה למתחילים.

אם אתם משתמשים ב-API של CameraX, ודאו שאסטרטגיית הלחץ הנגדי מוגדרת לערך ברירת המחדל שלה ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. כך אפשר להבטיח שרק תמונה אחת תישלח לניתוח בכל פעם. אם נוצרות תמונות נוספות בזמן שהמנתח עסוק, הן יוסרו באופן אוטומטי ולא יועברו לתור. אחרי שהתמונה שמנותחת נסגרת באמצעות קריאה ל-ImageProxy.close()‎, התמונה הבאה תועבר.

אם אתם משתמשים בפלט של הגלאי כדי להוסיף שכבת-על של גרפיקה לתמונת הקלט, קודם צריך לקבל את התוצאה מ-ML Kit, ואז לעבד את התמונה ולהוסיף את שכבת-העל בשלב אחד. העיבוד הזה מתבצע במשטח התצוגה רק פעם אחת לכל פריים של קלט. אפשר לראות דוגמה במחלקות CameraSourcePreview ו- GraphicOverlay באפליקציה לדוגמה למתחילים.

אם משתמשים ב-Camera2 API, צריך לצלם תמונות בפורמט ImageFormat.YUV_420_888. אם משתמשים ב-Camera API הישן, צריך לצלם תמונות בפורמט ImageFormat.NV21.