Bạn có thể sử dụng Bộ công cụ học máy để phát hiện và theo dõi các đối tượng trong các khung video liên tiếp.
Khi bạn truyền một hình ảnh vào Bộ công cụ học máy, bộ công cụ này sẽ phát hiện tối đa 5 đối tượng trong hình ảnh cùng với vị trí của mỗi đối tượng trong hình ảnh. Khi phát hiện đối tượng trong luồng video, mỗi đối tượng có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi đối tượng đó qua từng khung hình. Bạn cũng có thể tuỳ ý bật tính năng phân loại đối tượng thô. Tính năng này gắn nhãn các đối tượng có nội dung mô tả danh mục rộng.
Dùng thử
- Hãy khám phá ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
- Hãy xem ứng dụng quảng cáo Material Design để biết cách triển khai toàn diện API này.
Trước khi bắt đầu
- Trong tệp
build.gradle
cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả hai phầnbuildscript
vàallprojects
. - Thêm các phần phụ thuộc cho thư viện Android của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là
app/build.gradle
:dependencies { // ... implementation 'com.google.mlkit:object-detection:17.0.1' }
1. Định cấu hình trình phát hiện đối tượng
Để phát hiện và theo dõi các đối tượng, trước tiên, hãy tạo một thực thể của ObjectDetector
và tuỳ ý chỉ định bất kỳ chế độ cài đặt trình phát hiện nào mà bạn muốn thay đổi so với chế độ mặc định.
Định cấu hình trình phát hiện đối tượng cho trường hợp sử dụng của bạn với đối tượng
ObjectDetectorOptions
. Bạn có thể thay đổi các chế độ cài đặt sau:Cài đặt trình phát hiện đối tượng Chế độ phát hiện STREAM_MODE
(mặc định) |SINGLE_IMAGE_MODE
Trong
STREAM_MODE
(mặc định), trình phát hiện đối tượng sẽ chạy với độ trễ thấp nhưng có thể tạo ra kết quả không hoàn chỉnh (chẳng hạn như hộp giới hạn hoặc nhãn danh mục không xác định) trong một số lệnh gọi đầu tiên của trình phát hiện. Ngoài ra, trongSTREAM_MODE
, trình phát hiện sẽ gán mã theo dõi cho các đối tượng và bạn có thể dùng mã này để theo dõi đối tượng trên các khung hình. Hãy sử dụng chế độ này khi bạn muốn theo dõi các đối tượng hoặc khi cần có độ trễ thấp, chẳng hạn như khi xử lý luồng video theo thời gian thực.Trong
SINGLE_IMAGE_MODE
, trình phát hiện đối tượng sẽ trả về kết quả sau khi hộp giới hạn của đối tượng được xác định. Nếu bạn cũng bật tính năng phân loại, thì thao tác này sẽ trả về kết quả sau khi cả nhãn giới hạn và nhãn danh mục đều có sẵn. Do đó, độ trễ phát hiện có thể cao hơn. Ngoài ra, trongSINGLE_IMAGE_MODE
, mã theo dõi sẽ không được chỉ định. Hãy sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý một phần kết quả.Phát hiện và theo dõi nhiều đối tượng false
(mặc định) |true
Phát hiện và theo dõi tối đa 5 đối tượng hay chỉ đối tượng nổi bật nhất (mặc định).
Phân loại đối tượng false
(mặc định) |true
Liệu có phân loại các đối tượng đã phát hiện thành các danh mục thô hay không. Khi được bật, trình phát hiện đối tượng sẽ phân loại các đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, hàng gia dụng, địa điểm và thực vật.
API theo dõi và phát hiện đối tượng được tối ưu hoá cho 2 trường hợp sử dụng chính sau đây:
- Phát hiện trực tiếp và theo dõi đối tượng nổi bật nhất trong kính ngắm của máy ảnh.
- Phát hiện nhiều đối tượng qua một ảnh tĩnh.
Cách định cấu hình API cho những trường hợp sử dụng sau:
Kotlin
// Live detection and tracking val options = ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build() // Multiple object detection in static images val options = ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build()
Java
// Live detection and tracking ObjectDetectorOptions options = new ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build(); // Multiple object detection in static images ObjectDetectorOptions options = new ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build();
Nhận một thực thể của
ObjectDetector
:Kotlin
val objectDetector = ObjectDetection.getClient(options)
Java
ObjectDetector objectDetector = ObjectDetection.getClient(options);
2. Chuẩn bị hình ảnh đầu vào
Để phát hiện và theo dõi các đối tượng, hãy chuyển hình ảnh đến phương thứcprocess()
của thực thể ObjectDetector
.
Trình phát hiện đối tượng chạy trực tiếp từ Bitmap
, NV21 ByteBuffer
hoặc media.Image
YUV_420_888. Bạn nên tạo InputImage
từ các nguồn đó nếu có quyền truy cập trực tiếp vào một trong các nguồn đó. Nếu bạn tạo InputImage
từ các nguồn khác, chúng tôi sẽ xử lý lượt chuyển đổi nội bộ cho bạn và việc này có thể kém hiệu quả hơn.
Đối với mỗi khung video hoặc hình ảnh trong một trình tự, hãy làm như sau:
Bạn có thể tạo một đối tượng InputImage
từ nhiều nguồn. Mỗi nguồn sẽ được giải thích ở bên dưới.
Sử dụng media.Image
Để tạo một đối tượng InputImage
từ đối tượng media.Image
, chẳng hạn như khi bạn chụp ảnh bằng máy ảnh của thiết bị, hãy truyền đối tượng media.Image
và chế độ xoay của hình ảnh đến InputImage.fromMediaImage()
.
Nếu bạn sử dụng thư viện
CameraX, các lớp OnImageCapturedListener
và ImageAnalysis.Analyzer
sẽ tính giá trị chế độ xoay cho bạn.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Nếu không sử dụng thư viện máy ảnh để cung cấp độ xoay của hình ảnh, bạn có thể tính độ xoay này dựa trên độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Sau đó, hãy truyền đối tượng media.Image
và giá trị độ xoay đến InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Sử dụng URI tệp
Để tạo đối tượng InputImage
từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath()
. Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT
để nhắc người dùng chọn một hình ảnh từ ứng dụng thư viện của họ.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Sử dụng ByteBuffer
hoặc ByteArray
Để tạo một đối tượng InputImage
từ ByteBuffer
hoặc ByteArray
, trước tiên, hãy tính toán độ xoay hình ảnh như mô tả trước đó cho dữ liệu đầu vào media.Image
.
Sau đó, hãy tạo đối tượng InputImage
bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Sử dụng Bitmap
Để tạo đối tượng InputImage
từ đối tượng Bitmap
, hãy khai báo sau:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Hình ảnh được biểu thị bằng đối tượng Bitmap
cùng với độ xoay.
3. Xử lý hình ảnh
Truyền hình ảnh vào phương thứcprocess()
:
Kotlin
objectDetector.process(image) .addOnSuccessListener { detectedObjects -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
objectDetector.process(image) .addOnSuccessListener( new OnSuccessListener<List<DetectedObject>>() { @Override public void onSuccess(List<DetectedObject> detectedObjects) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. Nhận thông tin về đối tượng phát hiện được
Nếu lệnh gọi đến process()
thành công, danh sách các DetectedObject
sẽ được chuyển đến trình nghe thành công.
Mỗi DetectedObject
chứa các thuộc tính sau:
Giới hạn hộp | Rect cho biết vị trí của đối tượng trong hình ảnh. |
||||||
Mã theo dõi | Một số nguyên xác định đối tượng trên các hình ảnh. Rỗng ở SINGLE_IMAGE_MODE. | ||||||
Nhãn |
|
Kotlin
for (detectedObject in detectedObjects) { val boundingBox = detectedObject.boundingBox val trackingId = detectedObject.trackingId for (label in detectedObject.labels) { val text = label.text if (PredefinedCategory.FOOD == text) { ... } val index = label.index if (PredefinedCategory.FOOD_INDEX == index) { ... } val confidence = label.confidence } }
Java
// The list of detected objects contains one item if multiple // object detection wasn't enabled. for (DetectedObject detectedObject : detectedObjects) { Rect boundingBox = detectedObject.getBoundingBox(); Integer trackingId = detectedObject.getTrackingId(); for (Label label : detectedObject.getLabels()) { String text = label.getText(); if (PredefinedCategory.FOOD.equals(text)) { ... } int index = label.getIndex(); if (PredefinedCategory.FOOD_INDEX == index) { ... } float confidence = label.getConfidence(); } }
Đảm bảo trải nghiệm người dùng tuyệt vời
Để có trải nghiệm người dùng tốt nhất, hãy làm theo các nguyên tắc sau trong ứng dụng của bạn:
- Việc phát hiện đối tượng thành công phụ thuộc vào độ phức tạp của hình ảnh đối tượng. Để được phát hiện, các đối tượng có ít tính năng hình ảnh có thể cần chiếm một phần lớn hơn của hình ảnh. Bạn nên cung cấp cho người dùng hướng dẫn về cách chụp ảnh đầu vào phù hợp với loại đối tượng bạn muốn phát hiện.
- Khi sử dụng tính năng phân loại, nếu bạn muốn phát hiện các đối tượng không thuộc danh mục được hỗ trợ, hãy triển khai cách xử lý đặc biệt cho các đối tượng không xác định.
Ngoài ra, hãy xem ứng dụng giới thiệu Material Design của Bộ công cụ học máy và bộ sưu tập Material Design Mẫu cho các tính năng dựa trên công nghệ học máy.
Cải thiện hiệu suất
Nếu bạn muốn dùng tính năng phát hiện đối tượng trong một ứng dụng theo thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:
Khi bạn dùng chế độ truyền trực tuyến trong một ứng dụng theo thời gian thực, đừng dùng tính năng phát hiện nhiều đối tượng vì hầu hết thiết bị sẽ không thể tạo đủ tốc độ khung hình.
Hãy tắt tính năng phân loại nếu bạn không cần.
- Nếu bạn sử dụng API
Camera
hoặccamera2
, hãy điều tiết lệnh gọi đến trình phát hiện. Nếu có khung video mới trong khi trình phát hiện đang chạy, hãy bỏ khung hình đó. Hãy xem lớpVisionProcessorBase
trong ứng dụng mẫu bắt đầu nhanh để biết ví dụ. - Nếu bạn sử dụng API
CameraX
, hãy nhớ đặt chiến lược backpressure về giá trị mặc địnhImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. Điều này đảm bảo mỗi lần chỉ gửi một hình ảnh để phân tích. Nếu thêm hình ảnh được tạo khi trình phân tích bận, các hình ảnh đó sẽ tự động bị loại bỏ và không được đưa vào hàng đợi phân phối. Sau khi bạn đóng hình ảnh đang được phân tích bằng cách gọi ImageProxy.close(), hình ảnh mới nhất tiếp theo sẽ được phân phối. - Nếu bạn dùng đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy rồi kết xuất hình ảnh và lớp phủ chỉ trong một bước. API này chỉ kết xuất trên nền tảng màn hình một lần cho mỗi khung đầu vào. Hãy xem các lớp
CameraSourcePreview
vàGraphicOverlay
trong ứng dụng mẫu bắt đầu nhanh để biết ví dụ. - Nếu bạn sử dụng API Camera2, hãy chụp ảnh ở định dạng
ImageFormat.YUV_420_888
. Nếu bạn sử dụng API Camera cũ, hãy chụp ảnh ở định dạngImageFormat.NV21
.