Bạn có thể dùng Bộ công cụ học máy để phát hiện các khuôn mặt trong ảnh và video giống như ảnh chân dung tự chụp.
API Phát hiện lưới khuôn mặt | |
---|---|
Tên SDK | face-mesh-detection |
Triển khai | Mã và tài sản được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng. |
Tác động của kích thước ứng dụng | ~6,4 MB |
Hiệu suất | Theo thời gian thực trên hầu hết các thiết bị. |
Dùng thử
- Hãy thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
Trước khi bắt đầu
Trong tệp
build.gradle
cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả phần tập lệnh bản dựng và phần tất cả dự án.Thêm phần phụ thuộc của thư viện phát hiện lưới khuôn mặt của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là
app/build.gradle
:dependencies { // ... implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1' }
Nguyên tắc nhập hình ảnh
Bạn nên chụp hình ảnh trong phạm vi khoảng 2 mét (khoảng 7 feet) tính từ máy ảnh của thiết bị để các khuôn mặt đủ lớn để nhận dạng lưới khuôn mặt một cách tối ưu. Nhìn chung, khuôn mặt càng lớn thì khả năng nhận dạng lưới khuôn mặt càng chính xác.
Khuôn mặt này phải hướng về phía máy ảnh và hiện được ít nhất một nửa khuôn mặt. Mọi vật thể lớn ở giữa khuôn mặt và máy ảnh có thể làm giảm độ chính xác.
Nếu muốn phát hiện khuôn mặt trong ứng dụng theo thời gian thực, bạn cũng nên xem xét kích thước tổng thể của hình ảnh nhập vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Vì vậy, việc chụp ảnh ở độ phân giải thấp hơn sẽ giúp giảm độ trễ. Tuy nhiên, hãy lưu ý các yêu cầu về độ chính xác ở trên và đảm bảo rằng khuôn mặt của đối tượng chiếm nhiều hình ảnh nhất có thể.
Định cấu hình trình phát hiện lưới khuôn mặt
Nếu bạn muốn thay đổi bất kỳ chế độ cài đặt mặc định nào của trình phát hiện lưới khuôn mặt, hãy chỉ định các chế độ cài đặt đó bằng đối tượng FaceMeshDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:
setUseCase
BOUNDING_BOX_ONLY
: Chỉ cung cấp một hộp giới hạn cho lưới khuôn mặt được phát hiện. Đây là trình phát hiện khuôn mặt nhanh nhất, nhưng có giới hạn về phạm vi(các khuôn mặt phải cách camera trong khoảng ~2 mét hoặc ~7 feet).FACE_MESH
(tuỳ chọn mặc định): Cung cấp một hộp giới hạn và thông tin bổ sung về lưới khuôn mặt (468 điểm 3D và thông tin tam giác). Khi so sánh với trường hợp sử dụngBOUNDING_BOX_ONLY
, độ trễ tăng khoảng 15% (được đo trên Pixel 3).
Ví dụ:
Kotlin
val defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS) val boundingBoxDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() )
Java
FaceMeshDetector defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS); FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient( new FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() );
Chuẩn bị hình ảnh đầu vào
Để phát hiện khuôn mặt trong hình ảnh, hãy tạo một đối tượng InputImage
từ Bitmap
, media.Image
, ByteBuffer
, mảng byte hoặc một tệp trên thiết bị.
Sau đó, hãy truyền đối tượng InputImage
vào phương thức process
của FaceDetector
.
Để phát hiện lưới khuôn mặt, bạn nên sử dụng hình ảnh có kích thước tối thiểu là 480x360 pixel. Nếu bạn đang phát hiện khuôn mặt theo thời gian thực, việc chụp khung hình ở độ phân giải tối thiểu này có thể giúp giảm độ trễ.
Bạn có thể tạo đối tượng InputImage
từ nhiều nguồn, mỗi nguồn được giải thích ở bên dưới.
Sử dụng media.Image
Để tạo đối tượng InputImage
từ đối tượng media.Image
, chẳng hạn như khi bạn chụp ảnh từ máy ảnh của thiết bị, hãy truyền đối tượng media.Image
và chế độ xoay của hình ảnh đến InputImage.fromMediaImage()
.
Nếu bạn sử dụng thư viện
CameraX, thì các lớp OnImageCapturedListener
và ImageAnalysis.Analyzer
sẽ tính giá trị xoay cho bạn.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Nếu không sử dụng thư viện máy ảnh cho biết độ xoay của hình ảnh, bạn có thể tính độ xoay của hình ảnh dựa trên độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Sau đó, hãy truyền đối tượng media.Image
và giá trị độ xoay đến InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Sử dụng URI tệp
Để tạo đối tượng InputImage
từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath()
. Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT
để nhắc người dùng chọn một hình ảnh trong ứng dụng thư viện của họ.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Sử dụng ByteBuffer
hoặc ByteArray
Để tạo một đối tượng InputImage
từ ByteBuffer
hoặc ByteArray
, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho phương thức nhập media.Image
.
Sau đó, hãy tạo đối tượng InputImage
bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Sử dụng Bitmap
Để tạo đối tượng InputImage
qua đối tượng Bitmap
, hãy khai báo sau:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Hình ảnh được biểu thị bằng một đối tượng Bitmap
cùng với độ xoay.
Xử lý hình ảnh
Truyền hình ảnh vào phương thức process
:
Kotlin
val result = detector.process(image) .addOnSuccessListener { result -> // Task completed successfully // … } .addOnFailureListener { e -> // Task failed with an exception // … }
Java
Task<List<FaceMesh>> result = detector.process(image) .addOnSuccessListener( new OnSuccessListener<List<FaceMesh>>() { @Override public void onSuccess(List<FaceMesh> result) { // Task completed successfully // … } }) .addOnFailureListener( new OnFailureListener() { @Override Public void onFailure(Exception e) { // Task failed with an exception // … } });
Xem thông tin về lưới khuôn mặt đã phát hiện
Nếu phát hiện thấy bất kỳ khuôn mặt nào trong hình ảnh, danh sách đối tượng FaceMesh
sẽ được chuyển đến trình nghe thành công. Mỗi FaceMesh
đại diện cho một khuôn mặt đã được phát hiện trong hình ảnh. Đối với mỗi lưới khuôn mặt, bạn có thể biết toạ độ giới hạn trong hình ảnh đầu vào, cũng như mọi thông tin khác mà bạn đã định cấu hình trình phát hiện lưới khuôn mặt cần tìm.
Kotlin
for (faceMesh in faceMeshs) { val bounds: Rect = faceMesh.boundingBox() // Gets all points val faceMeshpoints = faceMesh.allPoints for (faceMeshpoint in faceMeshpoints) { val index: Int = faceMeshpoints.index() val position = faceMeshpoint.position } // Gets triangle info val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles for (triangle in triangles) { // 3 Points connecting to each other and representing a triangle area. val connectedPoints = triangle.allPoints() } }
Java
for (FaceMesh faceMesh : faceMeshs) { Rect bounds = faceMesh.getBoundingBox(); // Gets all points List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints(); for (FaceMeshPoint faceMeshpoint : faceMeshpoints) { int index = faceMeshpoints.getIndex(); PointF3D position = faceMeshpoint.getPosition(); } // Gets triangle info List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles(); for (Triangle<FaceMeshPoint> triangle : triangles) { // 3 Points connecting to each other and representing a triangle area. List<FaceMeshPoint> connectedPoints = triangle.getAllPoints(); } }