Trang này được dịch bởi Cloud Translation API.

Phát hiện và theo dõi đối tượng bằng Bộ công cụ học máy trên Android

Bạn có thể dùng Bộ công cụ học máy để phát hiện và theo dõi các đối tượng trong các khung hình video liên tiếp.

Khi bạn truyền hình ảnh đến Bộ công cụ học máy, công cụ này sẽ phát hiện tối đa 5 đối tượng trong hình ảnh đó cùng với vị trí của từng đối tượng trong hình ảnh. Khi phát hiện đối tượng trong luồng video, mỗi đối tượng sẽ có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi đối tượng đó từ khung hình này sang khung hình khác. Bạn cũng có thể tùy ý bật đối tượng tương đối Phân loại để gắn nhãn các đối tượng bằng mô tả danh mục rộng.

Dùng thử

Dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
Xem trang giới thiệu Material Design để triển khai toàn diện API này.

Trước khi bắt đầu

API này yêu cầu Android API cấp 21 trở lên. Đảm bảo rằng tệp bản dựng của ứng dụng sử dụng giá trị minSdkVersion từ 21 trở lên.

Trong tệp build.gradle cấp dự án, hãy nhớ đưa vào Kho lưu trữ Maven của Google trong cả buildscript và allprojects mục.
Thêm các phần phụ thuộc cho thư viện Android của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:
```
dependencies {
  // ...

  implementation 'com.google.mlkit:object-detection:17.0.2'

}
```

1. Định cấu hình trình phát hiện đối tượng

Để phát hiện và theo dõi đối tượng, trước tiên, hãy tạo một thực thể của ObjectDetector và chỉ định bất kỳ chế độ cài đặt trình phát hiện nào mà bạn muốn thay đổi so với chế độ mặc định.

Định cấu hình trình phát hiện đối tượng cho trường hợp sử dụng của bạn bằng Đối tượng ObjectDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

Cài đặt trình phát hiện vật thể

Chế độ phát hiện

Cài đặt trình phát hiện vật thể
Chế độ phát hiện	`STREAM_MODE` (mặc định) \| `SINGLE_IMAGE_MODE` Trong `STREAM_MODE` (mặc định), trình phát hiện đối tượng sẽ chạy có độ trễ thấp, nhưng có thể tạo ra kết quả không hoàn chỉnh (chẳng hạn như hộp giới hạn không xác định hoặc nhãn danh mục) ở vài trang đầu các lệnh gọi của trình phát hiện. Ngoài ra, trong `STREAM_MODE`, trình phát hiện sẽ chỉ định mã nhận dạng theo dõi cho các đối tượng mà bạn có thể sử dụng để theo dõi các đối tượng trên các khung hình. Sử dụng chế độ này khi bạn muốn theo dõi các đối tượng hoặc khi độ trễ thấp là quan trọng, chẳng hạn như khi xử lý luồng video theo thời gian thực. Trong `SINGLE_IMAGE_MODE`, trình phát hiện đối tượng trả về kết quả sau khi xác định hộp giới hạn của đối tượng. Nếu bạn cũng bật tính năng phân loại, thì tính năng này sẽ trả về kết quả sau khi cả hộp giới hạn và nhãn danh mục đều có sẵn. Do vậy, độ trễ phát hiện của bạn có thể cao hơn. Ngoài ra, trong `SINGLE_IMAGE_MODE`, mã theo dõi chưa được chỉ định. Sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý một phần kết quả.
Phát hiện và theo dõi nhiều đối tượng	`false` (mặc định) \| `true` Phát hiện và theo dõi tối đa 5 đối tượng hay chỉ phát hiện tối đa đối tượng đối tượng nổi bật (mặc định).
Phân loại đối tượng	`false` (mặc định) \| `true` Liệu có phân loại các đối tượng đã phát hiện thành các danh mục thô hay không. Khi được bật, trình phát hiện đối tượng sẽ phân loại đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, đồ gia dụng, địa điểm và cây cối.

STREAM_MODE (mặc định) | SINGLE_IMAGE_MODE

Trong STREAM_MODE (mặc định), trình phát hiện đối tượng sẽ chạy có độ trễ thấp, nhưng có thể tạo ra kết quả không hoàn chỉnh (chẳng hạn như hộp giới hạn không xác định hoặc nhãn danh mục) ở vài trang đầu các lệnh gọi của trình phát hiện. Ngoài ra, trong STREAM_MODE, trình phát hiện sẽ chỉ định mã nhận dạng theo dõi cho các đối tượng mà bạn có thể sử dụng để theo dõi các đối tượng trên các khung hình. Sử dụng chế độ này khi bạn muốn theo dõi các đối tượng hoặc khi độ trễ thấp là quan trọng, chẳng hạn như khi xử lý luồng video theo thời gian thực.

Trong SINGLE_IMAGE_MODE, trình phát hiện đối tượng trả về kết quả sau khi xác định hộp giới hạn của đối tượng. Nếu bạn cũng bật tính năng phân loại, thì tính năng này sẽ trả về kết quả sau khi cả hộp giới hạn và nhãn danh mục đều có sẵn. Do vậy, độ trễ phát hiện của bạn có thể cao hơn. Ngoài ra, trong SINGLE_IMAGE_MODE, mã theo dõi chưa được chỉ định. Sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý một phần kết quả.

Phát hiện và theo dõi nhiều đối tượng

false (mặc định) | true

Phát hiện và theo dõi tối đa 5 đối tượng hay chỉ phát hiện tối đa đối tượng đối tượng nổi bật (mặc định).

Phân loại đối tượng

false (mặc định) | true

Liệu có phân loại các đối tượng đã phát hiện thành các danh mục thô hay không. Khi được bật, trình phát hiện đối tượng sẽ phân loại đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, đồ gia dụng, địa điểm và cây cối.

API theo dõi và phát hiện đối tượng được tối ưu hoá cho hai mục đích sử dụng cốt lõi này trường hợp:

Phát hiện trực tiếp và theo dõi đối tượng nổi bật nhất trong máy ảnh kính ngắm.
Phát hiện nhiều đối tượng trong một hình ảnh tĩnh.

Cách định cấu hình API cho các trường hợp sử dụng này:

Kotlin

// Live detection and tracking
val options = ObjectDetectorOptions.Builder()
        .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = ObjectDetectorOptions.Builder()
        .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

Java

// Live detection and tracking
ObjectDetectorOptions options =
        new ObjectDetectorOptions.Builder()
                .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
ObjectDetectorOptions options =
        new ObjectDetectorOptions.Builder()
                .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

Nhận một thực thể của ObjectDetector:

Kotlin

val objectDetector = ObjectDetection.getClient(options)

Java

ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. Chuẩn bị hình ảnh đầu vào

Để phát hiện và theo dõi đối tượng, hãy truyền hình ảnh đến phương thức process() của thực thể ObjectDetector.

Trình phát hiện đối tượng chạy trực tiếp từ Bitmap, NV21 ByteBuffer hoặc YUV_420_888 media.Image. Bạn nên tạo InputImage từ các nguồn đó nếu có quyền truy cập trực tiếp vào một trong các nguồn đó. Nếu bạn tạo một InputImage từ các nguồn khác, chúng tôi sẽ xử lý lượt chuyển đổi nội bộ cho bạn và việc này có thể kém hiệu quả hơn.

Đối với mỗi khung video hoặc hình ảnh trong một trình tự, hãy làm như sau:

Bạn có thể tạo một InputImage đối tượng từ các nguồn khác nhau, mỗi nguồn được giải thích ở bên dưới.

Sử dụng `media.Image`

Cách tạo InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ một camera của thiết bị, hãy truyền đối tượng media.Image và xoay thành InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính toán giá trị xoay cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cung cấp cho bạn độ xoay của hình ảnh, bạn có thể tính toán góc này dựa trên độ xoay của thiết bị và hướng của máy ảnh cảm biến trong thiết bị:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay thành InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Cách tạo InputImage từ một URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một bức ảnh trong ứng dụng thư viện của họ.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng `ByteBuffer` hoặc `ByteArray`

Để tạo đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho dữ liệu đầu vào media.Image. Sau đó, hãy tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với đối tượng chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Sử dụng `Bitmap`

Để tạo đối tượng InputImage từ đối tượng Bitmap, hãy khai báo như sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Hình ảnh được biểu thị bằng đối tượng Bitmap cùng với độ xoay.

3. Xử lý hình ảnh

Truyền hình ảnh vào phương thức process():

Kotlin

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

Java

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

Lưu ý: Nếu bạn đang sử dụng API CameraX, hãy nhớ đóng ImageProxy khi sử dụng xong. ví dụ: bằng cách thêm OnCompleteListener vào Task được trả về từ process. Hãy xem lớp VisionProcessorBase trong ứng dụng mẫu bắt đầu nhanh để biết ví dụ.

4. Lấy thông tin về đối tượng được phát hiện

Nếu lệnh gọi đến process() thành công, danh sách DetectedObject sẽ được chuyển tới trình nghe thành công.

Mỗi DetectedObject chứa các thuộc tính sau:

Hộp giới hạn Rect cho biết vị trí của đối tượng trong hình ảnh.

Mã theo dõi Một số nguyên xác định đối tượng trên các hình ảnh. Rỗng trong SINGLE_IMAGE_MODE.

Nhãn

Mô tả nhãn	Mô tả văn bản của nhãn. Đây sẽ là một trong các hằng số Chuỗi được xác định trong `PredefinedCategory`.
Chỉ mục nhãn	Chỉ mục của nhãn trong số tất cả các nhãn được hỗ trợ thuật toán phân loại. Đây sẽ là một trong các hằng số số nguyên được xác định trong `PredefinedCategory`.
Mức độ tin cậy của nhãn	Giá trị độ tin cậy của hoạt động phân loại đối tượng.

Kotlin

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

Java

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

Đảm bảo trải nghiệm người dùng tuyệt vời

Để có trải nghiệm người dùng tốt nhất, hãy làm theo các nguyên tắc sau trong ứng dụng của bạn:

Việc phát hiện đối tượng thành công phụ thuộc vào độ phức tạp của hình ảnh đối tượng. Ngang bằng những đối tượng có một số ít đặc điểm trực quan có thể cần được phát hiện chiếm phần lớn hình ảnh. Bạn nên hướng dẫn người dùng cách chụp dữ liệu đầu vào phù hợp với loại đối tượng mà bạn muốn phát hiện.
Khi sử dụng tính năng phân loại, nếu bạn muốn phát hiện các đối tượng không nằm trong rõ ràng vào các danh mục được hỗ trợ, triển khai cách xử lý đặc biệt đối với các trường hợp .

Ngoài ra, hãy xem ứng dụng giới thiệu Material Design cho bộ công cụ học máy và Thiết kế Material Design Bộ sưu tập Mẫu cho các tính năng dựa trên công nghệ học máy.

Cải thiện hiệu suất

Nếu bạn muốn sử dụng tính năng phát hiện đối tượng trong ứng dụng theo thời gian thực, hãy làm theo các bước sau để đạt được tốc độ khung hình tốt nhất:

Khi bạn sử dụng chế độ truyền trực tuyến trong một ứng dụng theo thời gian thực, đừng sử dụng tính năng phát hiện nhiều đối tượng, vì hầu hết thiết bị sẽ không thể tạo ra tốc độ khung hình đầy đủ.
Hãy tắt tính năng phân loại nếu bạn không cần.
Nếu bạn sử dụng Camera hoặc API camera2, lệnh điều tiết đến trình phát hiện. Nếu có khung hình video mới trong khi trình phát hiện đang chạy, hãy thả khung hình đó. Xem Ví dụ về lớp VisionProcessorBase trong ứng dụng mẫu khởi động nhanh.
Nếu bạn sử dụng API CameraX, hãy nhớ đặt chiến lược áp lực ngược thành giá trị mặc định là ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Điều này đảm bảo rằng mỗi lần chỉ có một hình ảnh được phân phối để phân tích. Nếu có nhiều hình ảnh được tạo khi trình phân tích đang bận, thì các hình ảnh đó sẽ tự động bị loại bỏ và không được đưa vào hàng đợi để phân phối. Sau khi hình ảnh đang được phân tích được đóng bằng cách gọi ImageProxy.close(), hình ảnh mới nhất tiếp theo sẽ được gửi.
Nếu bạn sử dụng đầu ra của trình phát hiện để phủ hình ảnh đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước. Kết xuất này hiển thị trên bề mặt màn hình một lần cho mỗi khung đầu vào. Xem CameraSourcePreview và Ví dụ về các lớp GraphicOverlay trong ứng dụng mẫu khởi động nhanh.
Nếu bạn sử dụng API Camera2, hãy chụp ảnh ở định dạng ImageFormat.YUV_420_888. Nếu bạn sử dụng API Máy ảnh cũ, hãy chụp ảnh ở định dạng ImageFormat.NV21.

Phát hiện và theo dõi đối tượng bằng Bộ công cụ học máy trên Android

Dùng thử

Trước khi bắt đầu

1. Định cấu hình trình phát hiện đối tượng

Kotlin

Java

Kotlin

Java

2. Chuẩn bị hình ảnh đầu vào

Sử dụng media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Sử dụng URI tệp

Kotlin

Java

Sử dụng ByteBuffer hoặc ByteArray

Kotlin

Java

Sử dụng Bitmap

Kotlin

Java

3. Xử lý hình ảnh

Kotlin

Java

4. Lấy thông tin về đối tượng được phát hiện

Kotlin

Java

Đảm bảo trải nghiệm người dùng tuyệt vời

Cải thiện hiệu suất

Sử dụng `media.Image`

Sử dụng `ByteBuffer` hoặc `ByteArray`

Sử dụng `Bitmap`