Bạn có thể dùng Bộ công cụ học máy để phát hiện và theo dõi các đối tượng trong các khung hình video liên tiếp.
Khi bạn truyền hình ảnh đến Bộ công cụ học máy, công cụ này sẽ phát hiện tối đa 5 đối tượng trong hình ảnh đó cùng với vị trí của từng đối tượng trong hình ảnh. Khi phát hiện đối tượng trong luồng video, mỗi đối tượng có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi đối tượng giữa các khung hình. Bạn cũng có thể tùy ý bật đối tượng tương đối Phân loại để gắn nhãn các đối tượng bằng mô tả danh mục rộng.
Dùng thử
- Dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
- Xem trang giới thiệu Material Design để triển khai toàn diện API này.
Trước khi bắt đầu
- Trong tệp
build.gradle
cấp dự án, hãy nhớ đưa vào Kho lưu trữ Maven của Google trong cảbuildscript
vàallprojects
mục. - Thêm các phần phụ thuộc cho thư viện Android Bộ công cụ học máy vào mô-đun của bạn
tệp gradle cấp ứng dụng, thường là
app/build.gradle
:dependencies { // ... implementation 'com.google.mlkit:object-detection:17.0.2' }
1. Định cấu hình trình phát hiện đối tượng
Để phát hiện và theo dõi các đối tượng, trước tiên hãy tạo một thực thể của ObjectDetector
và
tùy ý chỉ định bất kỳ cài đặt trình phát hiện nào bạn muốn thay đổi từ
mặc định.
Định cấu hình trình phát hiện đối tượng cho trường hợp sử dụng của bạn bằng Đối tượng
ObjectDetectorOptions
. Bạn có thể thay đổi các tuỳ chọn sau cài đặt:Cài đặt trình phát hiện đối tượng Chế độ phát hiện STREAM_MODE
(mặc định) |SINGLE_IMAGE_MODE
Trong
STREAM_MODE
(mặc định), trình phát hiện đối tượng sẽ chạy với độ trễ thấp, nhưng có thể tạo ra kết quả không hoàn chỉnh (chẳng hạn như hộp giới hạn không xác định hoặc nhãn danh mục) ở vài trang đầu các lệnh gọi của trình phát hiện. Ngoài ra, trongSTREAM_MODE
, trình phát hiện gán mã theo dõi cho các đối tượng mà bạn có thể sử dụng để theo dõi đối tượng trên các khung. Sử dụng chế độ này khi bạn muốn theo dõi đối tượng hoặc khi độ trễ thấp là quan trọng, chẳng hạn như khi xử lý theo thời gian thực.Trong
SINGLE_IMAGE_MODE
, trình phát hiện đối tượng sẽ trả về kết quả sau khi xác định hộp giới hạn của đối tượng. Nếu bạn bật phân loại, nó cũng trả về kết quả sau giới hạn và nhãn danh mục đều có sẵn. Do vậy, độ trễ phát hiện của bạn có thể cao hơn. Ngoài ra, trongSINGLE_IMAGE_MODE
, mã theo dõi chưa được chỉ định. Sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý một phần kết quả.Phát hiện và theo dõi nhiều đối tượng false
(mặc định) |true
Xác định xem có phát hiện và theo dõi tối đa năm đối tượng hay chỉ phát hiện tối đa đối tượng hay không đối tượng nổi bật (mặc định).
Phân loại đối tượng false
(mặc định) |true
Liệu có phân loại các đối tượng được phát hiện thành các danh mục tương đối hay không. Khi được bật, trình phát hiện đối tượng sẽ phân loại đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, đồ gia dụng, địa điểm và cây cối.
API theo dõi và phát hiện đối tượng được tối ưu hoá cho hai mục đích sử dụng cốt lõi này trường hợp:
- Phát hiện trực tiếp và theo dõi đối tượng nổi bật nhất trong máy ảnh kính ngắm.
- Phát hiện nhiều đối tượng trong một hình ảnh tĩnh.
Cách định cấu hình API cho các trường hợp sử dụng này:
Kotlin
// Live detection and tracking val options = ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build() // Multiple object detection in static images val options = ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build()
Java
// Live detection and tracking ObjectDetectorOptions options = new ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build(); // Multiple object detection in static images ObjectDetectorOptions options = new ObjectDetectorOptions.Builder() .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build();
Nhận một thực thể của
ObjectDetector
:Kotlin
val objectDetector = ObjectDetection.getClient(options)
Java
ObjectDetector objectDetector = ObjectDetection.getClient(options);
2. Chuẩn bị hình ảnh đầu vào
Để phát hiện và theo dõi các đối tượng, hãy truyền hình ảnh đếnObjectDetector
phương thức process()
của thực thể.
Trình phát hiện đối tượng chạy trực tiếp từ Bitmap
, NV21 ByteBuffer
hoặc
YUV_420_888 media.Image
. Tạo InputImage
từ các nguồn đó
bạn nên dùng tính năng này nếu có quyền truy cập trực tiếp vào một trong các nguồn cấp dữ liệu đó. Nếu bạn tạo
InputImage
từ các nguồn khác, thì chúng tôi sẽ xử lý việc chuyển đổi
nội bộ cho bạn và điều đó có thể kém hiệu quả hơn.
Đối với mỗi khung video hoặc hình ảnh trong một trình tự, hãy làm như sau:
Bạn có thể tạo một InputImage
đối tượng từ các nguồn khác nhau, mỗi nguồn được giải thích ở bên dưới.
Sử dụng media.Image
Cách tạo InputImage
từ đối tượng media.Image
, chẳng hạn như khi bạn chụp ảnh từ một
camera của thiết bị, hãy truyền đối tượng media.Image
và
xoay thành InputImage.fromMediaImage()
.
Nếu bạn sử dụng
Thư viện CameraX, OnImageCapturedListener
và
Các lớp ImageAnalysis.Analyzer
tính toán giá trị xoay
cho bạn.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Nếu không sử dụng thư viện máy ảnh cung cấp độ xoay của hình ảnh, bạn có thể tính tỷ lệ khung hình dựa trên độ xoay của thiết bị và hướng của máy ảnh cảm biến trong thiết bị:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Sau đó, hãy truyền đối tượng media.Image
và
giá trị độ xoay thành InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Sử dụng URI tệp
Cách tạo InputImage
từ một URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến
InputImage.fromFilePath()
. Điều này rất hữu ích khi bạn
sử dụng ý định ACTION_GET_CONTENT
để nhắc người dùng chọn
một bức ảnh trong ứng dụng thư viện của họ.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Sử dụng ByteBuffer
hoặc ByteArray
Cách tạo InputImage
đối tượng từ ByteBuffer
hoặc ByteArray
, trước tiên hãy tính hình ảnh
độ xoay như mô tả trước đây cho đầu vào media.Image
.
Sau đó, hãy tạo đối tượng InputImage
bằng vùng đệm hoặc mảng, cùng với đối tượng
chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Sử dụng Bitmap
Cách tạo InputImage
qua đối tượng Bitmap
, hãy khai báo sau:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Hình ảnh được biểu thị bằng một đối tượng Bitmap
cùng với độ xoay.
3. Xử lý hình ảnh
Truyền hình ảnh vào phương thứcprocess()
:
Kotlin
objectDetector.process(image) .addOnSuccessListener { detectedObjects -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
objectDetector.process(image) .addOnSuccessListener( new OnSuccessListener<List<DetectedObject>>() { @Override public void onSuccess(List<DetectedObject> detectedObjects) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. Lấy thông tin về đối tượng được phát hiện
Nếu lệnh gọi đến process()
thành công, danh sách DetectedObject
sẽ được chuyển tới
trình nghe thành công.
Mỗi DetectedObject
chứa các thuộc tính sau:
Hộp giới hạn | Rect cho biết vị trí của đối tượng trong
hình ảnh. |
||||||
Mã theo dõi | Số nguyên xác định đối tượng trên các hình ảnh. Rỗng trong SINGLE_IMAGE_MODE. | ||||||
Nhãn |
|
Kotlin
for (detectedObject in detectedObjects) { val boundingBox = detectedObject.boundingBox val trackingId = detectedObject.trackingId for (label in detectedObject.labels) { val text = label.text if (PredefinedCategory.FOOD == text) { ... } val index = label.index if (PredefinedCategory.FOOD_INDEX == index) { ... } val confidence = label.confidence } }
Java
// The list of detected objects contains one item if multiple // object detection wasn't enabled. for (DetectedObject detectedObject : detectedObjects) { Rect boundingBox = detectedObject.getBoundingBox(); Integer trackingId = detectedObject.getTrackingId(); for (Label label : detectedObject.getLabels()) { String text = label.getText(); if (PredefinedCategory.FOOD.equals(text)) { ... } int index = label.getIndex(); if (PredefinedCategory.FOOD_INDEX == index) { ... } float confidence = label.getConfidence(); } }
Đảm bảo trải nghiệm người dùng tuyệt vời
Để có trải nghiệm người dùng tốt nhất, hãy làm theo các nguyên tắc sau trong ứng dụng của bạn:
- Việc phát hiện được đối tượng có thành công hay không còn phụ thuộc vào độ phức tạp trực quan của đối tượng. Ngang bằng những đối tượng có một số ít đặc điểm trực quan có thể cần được phát hiện chiếm phần lớn hình ảnh. Bạn nên cung cấp cho người dùng hướng dẫn về thu thập dữ liệu đầu vào phù hợp với loại đối tượng bạn muốn phát hiện.
- Khi sử dụng tính năng phân loại, nếu bạn muốn phát hiện các đối tượng không nằm trong rõ ràng vào các danh mục được hỗ trợ, triển khai cách xử lý đặc biệt đối với các trường hợp không xác định .
Ngoài ra, hãy xem ứng dụng giới thiệu Material Design cho bộ công cụ học máy và Thiết kế Material Design Bộ sưu tập Mẫu cho các tính năng dựa trên công nghệ học máy.
Cải thiện hiệu suất
Nếu bạn muốn sử dụng tính năng phát hiện đối tượng trong ứng dụng theo thời gian thực, hãy làm theo các bước sau để đạt được tốc độ khung hình tốt nhất:
Khi bạn sử dụng chế độ truyền trực tuyến trong một ứng dụng thời gian thực, đừng sử dụng nhiều phát hiện vật thể, vì hầu hết các thiết bị sẽ không thể tạo ra tốc độ khung hình thích hợp.
Hãy tắt tính năng phân loại nếu bạn không cần.
- Nếu bạn sử dụng
Camera
hoặc APIcamera2
, lệnh điều tiết đến trình phát hiện. Nếu một video mới khung hình sẽ xuất hiện trong khi trình phát hiện đang chạy, hãy bỏ khung đó. Xem Ví dụ về lớpVisionProcessorBase
trong ứng dụng mẫu khởi động nhanh. - Nếu bạn sử dụng API
CameraX
, đảm bảo rằng chiến lược backpressure được đặt ở giá trị mặc địnhImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. Việc này giúp đảm bảo mỗi lần hệ thống chỉ gửi một hình ảnh để phân tích. Nếu các hình ảnh khác được tạo ra khi trình phân tích bận, chúng sẽ tự động bị loại bỏ và không được đưa vào hàng đợi của bạn. Sau khi hình ảnh đang được phân tích được đóng bằng cách gọi ImageProxy.close(), hình ảnh mới nhất tiếp theo sẽ được gửi. - Nếu bạn sử dụng đầu ra của trình phát hiện để phủ đồ hoạ lên
hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh
và phủ lên trên
trong một bước duy nhất. Kết xuất này hiển thị trên bề mặt màn hình
một lần cho mỗi khung đầu vào. Xem
CameraSourcePreview
và Ví dụ về các lớpGraphicOverlay
trong ứng dụng mẫu khởi động nhanh. - Nếu bạn sử dụng API Camera2, hãy chụp ảnh trong
Định dạng
ImageFormat.YUV_420_888
. Nếu bạn sử dụng API Camera cũ, hãy chụp ảnh trong Định dạngImageFormat.NV21
.