Trang này được dịch bởi Cloud Translation API.

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Bạn có thể dùng Bộ công cụ học máy để phát hiện các khuôn mặt trong ảnh và video giống như ảnh chân dung tự chụp.

API Phát hiện lưới khuôn mặt
Tên SDK	`face-mesh-detection`
Triển khai	Mã và tài sản được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng.
Tác động của kích thước ứng dụng	~6,4 MB
Hiệu suất	Theo thời gian thực trên hầu hết các thiết bị.

Dùng thử

Hãy thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

API này yêu cầu API Android cấp 21 trở lên. Đảm bảo rằng tệp bản dựng của ứng dụng sử dụng giá trị minSdkVersion từ 21 trở lên.

Trong tệp build.gradle cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả phần tập lệnh bản dựng và phần tất cả dự án.
Thêm phần phụ thuộc của thư viện phát hiện lưới khuôn mặt của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:
```
dependencies {
 // ...

 implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1'
}
```

Nguyên tắc nhập hình ảnh

Bạn nên chụp hình ảnh trong phạm vi khoảng 2 mét (khoảng 7 feet) tính từ máy ảnh của thiết bị để các khuôn mặt đủ lớn để nhận dạng lưới khuôn mặt một cách tối ưu. Nhìn chung, khuôn mặt càng lớn thì khả năng nhận dạng lưới khuôn mặt càng chính xác.
Khuôn mặt này phải hướng về phía máy ảnh và hiện được ít nhất một nửa khuôn mặt. Mọi vật thể lớn ở giữa khuôn mặt và máy ảnh có thể làm giảm độ chính xác.

Nếu muốn phát hiện khuôn mặt trong ứng dụng theo thời gian thực, bạn cũng nên xem xét kích thước tổng thể của hình ảnh nhập vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Vì vậy, việc chụp ảnh ở độ phân giải thấp hơn sẽ giúp giảm độ trễ. Tuy nhiên, hãy lưu ý các yêu cầu về độ chính xác ở trên và đảm bảo rằng khuôn mặt của đối tượng chiếm nhiều hình ảnh nhất có thể.

Định cấu hình trình phát hiện lưới khuôn mặt

Nếu bạn muốn thay đổi bất kỳ chế độ cài đặt mặc định nào của trình phát hiện lưới khuôn mặt, hãy chỉ định các chế độ cài đặt đó bằng đối tượng FaceMeshDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

setUseCase
- BOUNDING_BOX_ONLY: Chỉ cung cấp một hộp giới hạn cho lưới khuôn mặt được phát hiện. Đây là trình phát hiện khuôn mặt nhanh nhất, nhưng có giới hạn về phạm vi(các khuôn mặt phải cách camera trong khoảng ~2 mét hoặc ~7 feet).
- FACE_MESH (tuỳ chọn mặc định): Cung cấp một hộp giới hạn và thông tin bổ sung về lưới khuôn mặt (468 điểm 3D và thông tin tam giác). Khi so sánh với trường hợp sử dụng BOUNDING_BOX_ONLY, độ trễ tăng khoảng 15% (được đo trên Pixel 3).

Ví dụ:

Kotlin

val defaultDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.DEFAULT_OPTIONS)

val boundingBoxDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.Builder()
    .setUseCase(UseCase.BOUNDING_BOX_ONLY)
    .build()
)

Java

FaceMeshDetector defaultDetector =
        FaceMeshDetection.getClient(
                FaceMeshDetectorOptions.DEFAULT_OPTIONS);

FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient(
        new FaceMeshDetectorOptions.Builder()
                .setUseCase(UseCase.BOUNDING_BOX_ONLY)
                .build()
        );

Chuẩn bị hình ảnh đầu vào

Để phát hiện khuôn mặt trong hình ảnh, hãy tạo một đối tượng InputImage từ Bitmap, media.Image, ByteBuffer, mảng byte hoặc một tệp trên thiết bị. Sau đó, hãy truyền đối tượng InputImage vào phương thức process của FaceDetector.

Để phát hiện lưới khuôn mặt, bạn nên sử dụng hình ảnh có kích thước tối thiểu là 480x360 pixel. Nếu bạn đang phát hiện khuôn mặt theo thời gian thực, việc chụp khung hình ở độ phân giải tối thiểu này có thể giúp giảm độ trễ.

Bạn có thể tạo đối tượng InputImage từ nhiều nguồn, mỗi nguồn được giải thích ở bên dưới.

Sử dụng `media.Image`

Để tạo đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ máy ảnh của thiết bị, hãy truyền đối tượng media.Image và chế độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, thì các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính giá trị xoay cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cho biết độ xoay của hình ảnh, bạn có thể tính độ xoay của hình ảnh dựa trên độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay đến InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo đối tượng InputImage từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một hình ảnh trong ứng dụng thư viện của họ.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng `ByteBuffer` hoặc `ByteArray`

Để tạo một đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho phương thức nhập media.Image. Sau đó, hãy tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Sử dụng `Bitmap`

Để tạo đối tượng InputImage qua đối tượng Bitmap, hãy khai báo sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Hình ảnh được biểu thị bằng một đối tượng Bitmap cùng với độ xoay.

Xử lý hình ảnh

Truyền hình ảnh vào phương thức process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { result ->
            // Task completed successfully
            // …
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // …
        }

Java


Task<List<FaceMesh>> result = detector.process(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FaceMesh>>() {
                    @Override
                    public void onSuccess(List<FaceMesh> result) {
                        // Task completed successfully
                        // …
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    Public void onFailure(Exception e) {
                        // Task failed with an exception
                        // …
                    }
                });

Xem thông tin về lưới khuôn mặt đã phát hiện

Nếu phát hiện thấy bất kỳ khuôn mặt nào trong hình ảnh, danh sách đối tượng FaceMesh sẽ được chuyển đến trình nghe thành công. Mỗi FaceMesh đại diện cho một khuôn mặt đã được phát hiện trong hình ảnh. Đối với mỗi lưới khuôn mặt, bạn có thể biết toạ độ giới hạn trong hình ảnh đầu vào, cũng như mọi thông tin khác mà bạn đã định cấu hình trình phát hiện lưới khuôn mặt cần tìm.

Kotlin

for (faceMesh in faceMeshs) {
    val bounds: Rect = faceMesh.boundingBox()

    // Gets all points
    val faceMeshpoints = faceMesh.allPoints
    for (faceMeshpoint in faceMeshpoints) {
      val index: Int = faceMeshpoints.index()
      val position = faceMeshpoint.position
    }

    // Gets triangle info
    val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles
    for (triangle in triangles) {
      // 3 Points connecting to each other and representing a triangle area.
      val connectedPoints = triangle.allPoints()
    }
}

Java

for (FaceMesh faceMesh : faceMeshs) {
    Rect bounds = faceMesh.getBoundingBox();

    // Gets all points
    List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints();
    for (FaceMeshPoint faceMeshpoint : faceMeshpoints) {
        int index = faceMeshpoints.getIndex();
        PointF3D position = faceMeshpoint.getPosition();
    }

    // Gets triangle info
    List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles();
    for (Triangle<FaceMeshPoint> triangle : triangles) {
        // 3 Points connecting to each other and representing a triangle area.
        List<FaceMeshPoint> connectedPoints = triangle.getAllPoints();
    }
}

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Dùng thử

Trước khi bắt đầu

Nguyên tắc nhập hình ảnh

Định cấu hình trình phát hiện lưới khuôn mặt

Kotlin

Java

Chuẩn bị hình ảnh đầu vào

Sử dụng media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Sử dụng URI tệp

Kotlin

Java

Sử dụng ByteBuffer hoặc ByteArray

Kotlin

Java

Sử dụng Bitmap

Kotlin

Java

Xử lý hình ảnh

Kotlin

Java

Xem thông tin về lưới khuôn mặt đã phát hiện

Kotlin

Java

Sử dụng `media.Image`

Sử dụng `ByteBuffer` hoặc `ByteArray`

Sử dụng `Bitmap`