Phát hiện và theo dõi các đối tượng bằng Bộ công cụ máy học trên Android

Bạn có thể dùng Bộ công cụ máy học để phát hiện và theo dõi các đối tượng trong các khung hình video liên tiếp.

Khi bạn chuyển một hình ảnh vào Bộ công cụ máy học, công cụ này sẽ phát hiện tối đa 5 đối tượng trong hình ảnh cùng với vị trí của từng đối tượng trong hình ảnh đó. Khi phát hiện các đối tượng trong luồng video, mỗi đối tượng có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi đối tượng đó từ khung này sang khung khác. Bạn cũng có thể bật tính năng phân loại đối tượng thô để gắn nhãn đối tượng bằng nội dung mô tả về danh mục rộng.

Trước khi bắt đầu

  1. Trong tệp build.gradle cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả hai mục buildscriptallprojects.
  2. Thêm các phần phụ thuộc cho thư viện Android của Bộ công cụ máy học vào tệp gradle cấp ứng dụng của bạn, thường là app/build.gradle:
    dependencies {
      // ...
    
      implementation 'com.google.mlkit:object-detection:17.0.0'
    
    }
    

1. Định cấu hình trình phát hiện đối tượng

Để phát hiện và theo dõi các đối tượng, trước tiên, hãy tạo một phiên bản của ObjectDetector và không bắt buộc chỉ định mọi chế độ cài đặt trình phát hiện mà bạn muốn thay đổi từ mặc định.

  1. Định cấu hình trình phát hiện đối tượng cho trường hợp sử dụng của bạn bằng đối tượng ObjectDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

    Cài đặt trình phát hiện đối tượng
    Chế độ phát hiện STREAM_MODE (mặc định) | SINGLE_IMAGE_MODE

    Trong STREAM_MODE (mặc định), trình phát hiện đối tượng chạy có độ trễ thấp nhưng có thể tạo ra kết quả không đầy đủ (chẳng hạn như hộp giới hạn hoặc nhãn danh mục không xác định) trên một số lệnh gọi đầu tiên của trình phát hiện. Ngoài ra, trong STREAM_MODE, trình phát hiện sẽ gán mã theo dõi cho các đối tượng mà bạn có thể dùng để theo dõi các đối tượng trên nhiều khung hình. Sử dụng chế độ này khi bạn muốn theo dõi các đối tượng hoặc khi độ trễ thấp là rất quan trọng, chẳng hạn như khi xử lý các luồng video theo thời gian thực.

    Trong SINGLE_IMAGE_MODE, trình phát hiện đối tượng sẽ trả về kết quả sau khi hộp giới hạn của đối tượng được xác định. Nếu bạn cũng bật tính năng phân loại, thì kết quả sẽ xuất hiện sau khi hộp giới hạn và nhãn danh mục có sẵn. Do đó, độ trễ phát hiện có thể cao hơn. Ngoài ra, trong SINGLE_IMAGE_MODE, các mã theo dõi chưa được chỉ định. Hãy sử dụng chế độ này nếu độ trễ không quan trọng và bạn sẽ không muốn xử lý một phần kết quả.

    Phát hiện và theo dõi nhiều đối tượng false (mặc định) | true

    Phát hiện và theo dõi tối đa 5 đối tượng hay chỉ tìm đối tượng nổi bật nhất (mặc định).

    Phân loại đối tượng false (mặc định) | true

    Phân loại các đối tượng được phát hiện thành các danh mục thô hay không. Khi được bật, trình phát hiện đối tượng phân loại các đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, đồ gia dụng, địa điểm và thực vật.

    API theo dõi và phát hiện đối tượng được tối ưu hoá cho hai trường hợp sử dụng chính sau đây:

    • Phát hiện và theo dõi trực tiếp đối tượng nổi bật nhất trong kính ngắm của máy ảnh.
    • Phát hiện nhiều đối tượng từ một hình ảnh tĩnh.

    Cách định cấu hình API cho các trường hợp sử dụng sau:

    Kotlin

    // Live detection and tracking
    val options = ObjectDetectorOptions.Builder()
            .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
            .enableClassification()  // Optional
            .build()
    
    // Multiple object detection in static images
    val options = ObjectDetectorOptions.Builder()
            .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
            .enableMultipleObjects()
            .enableClassification()  // Optional
            .build()

    Java

    // Live detection and tracking
    ObjectDetectorOptions options =
            new ObjectDetectorOptions.Builder()
                    .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                    .enableClassification()  // Optional
                    .build();
    
    // Multiple object detection in static images
    ObjectDetectorOptions options =
            new ObjectDetectorOptions.Builder()
                    .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                    .enableMultipleObjects()
                    .enableClassification()  // Optional
                    .build();
  2. Nhận thực thể của ObjectDetector:

    Kotlin

    val objectDetector = ObjectDetection.getClient(options)

    Java

    ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. Chuẩn bị hình ảnh nhập

Để phát hiện và theo dõi các đối tượng, hãy truyền hình ảnh đến phương thức process() của thực thể ObjectDetector.

Trình phát hiện đối tượng chạy trực tiếp từ Bitmap, NV21 ByteBuffer hoặc YUV_420_888 media.Image. Bạn nên tạo InputImage từ các nguồn đó nếu có quyền truy cập trực tiếp vào một trong các nguồn đó. Nếu bạn tạo InputImage từ các nguồn khác, chúng tôi sẽ xử lý nội dung chuyển đổi cho bạn và hiệu quả có thể kém hơn.

Đối với mỗi khung hình của video hoặc hình ảnh theo trình tự, hãy làm như sau:

Bạn có thể tạo một đối tượng InputImage từ nhiều nguồn, mỗi nguồn được giải thích ở bên dưới.

Sử dụng media.Image

Để tạo một đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi chụp ảnh từ máy ảnh của thiết bị, hãy truyền đối tượng media.Image và chế độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, thì các lớp OnImageCapturedListenerImageAnalysis.Analyzer sẽ tính toán giá trị xoay vòng cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cung cấp cho bạn mức độ xoay của hình ảnh, bạn có thể tính toán mức độ đó từ độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị.

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay cho InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo một đối tượng InputImage từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp cho InputImage.fromFilePath(). Tính năng này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn hình ảnh trong ứng dụng thư viện ảnh.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng ByteBuffer hoặc ByteArray

Để tạo một đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho đầu vào media.Image. Sau đó, tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hóa màu và độ xoay của hình ảnh:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

Sử dụng Bitmap

Để tạo một đối tượng InputImage từ đối tượng Bitmap, hãy khai báo sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

Hình ảnh này được biểu thị bằng một đối tượng Bitmap cùng với độ xoay.

3. Xử lý hình ảnh

Truyền hình ảnh đến phương thức process():

Kotlin

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

Java

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

4. Nhận thông tin về đối tượng phát hiện được

Nếu lệnh gọi đến process() thành công, danh sách DetectedObject sẽ được chuyển cho trình nghe thành công.

Mỗi DetectedObject chứa các thuộc tính sau:

Hộp giới hạn Rect cho biết vị trí của đối tượng trong hình ảnh.
Mã theo dõi Số nguyên xác định đối tượng trên các hình ảnh. Không có giá trị trong SINGLE_IMAGE_MODE.
Nhãn
Mô tả nhãn Mô tả văn bản của nhãn. Đó sẽ là một trong các hằng số Chuỗi được xác định trong PredefinedCategory.
Chỉ mục nhãn Chỉ mục của nhãn trong số tất cả các nhãn được bộ phân loại hỗ trợ. Đây sẽ là một trong các hằng số nguyên được xác định trong PredefinedCategory.
Độ tin cậy của nhãn Giá trị tin cậy của phân loại đối tượng.

Kotlin

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

Java

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

Đảm bảo trải nghiệm tuyệt vời cho người dùng

Để có trải nghiệm người dùng tốt nhất, hãy làm theo các nguyên tắc sau trong ứng dụng:

  • Phát hiện đối tượng thành công phụ thuộc vào độ phức tạp của hình ảnh của đối tượng. Để được phát hiện, các đối tượng có ít tính năng hình ảnh có thể cần phải chiếm phần lớn hơn của hình ảnh. Bạn nên cung cấp cho người dùng hướng dẫn về cách chụp ảnh đầu vào hoạt động tốt với loại đối tượng mà bạn muốn phát hiện.
  • Khi sử dụng tính năng phân loại, nếu bạn muốn phát hiện các đối tượng không thuộc các danh mục được hỗ trợ, hãy triển khai cách xử lý đặc biệt cho các đối tượng không xác định.

Ngoài ra, hãy xem ứng dụng quảng cáo Material Design Material Design và bộ sưu tập Mẫu cho các tính năng sử dụng công nghệ máy học.

Cải thiện hiệu suất

Nếu bạn muốn sử dụng tính năng phát hiện đối tượng trong một ứng dụng theo thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:

  • Khi bạn sử dụng chế độ phát trực tuyến trong ứng dụng theo thời gian thực, đừng sử dụng tính năng phát hiện nhiều đối tượng vì hầu hết thiết bị sẽ không thể tạo ra tốc độ khung hình phù hợp.

  • Hãy tắt tính năng phân loại nếu bạn không cần nữa.

  • Nếu bạn sử dụng API Camera hoặc camera2, hãy hạn chế các lệnh gọi đến trình phát hiện. Nếu có khung video mới trong khi trình phát hiện đang chạy, hãy thả khung hình. Hãy xem lớp VisionProcessorBase trong ứng dụng mẫu khởi động nhanh để biết ví dụ.
  • Nếu bạn sử dụng API CameraX, hãy nhớ đặt chiến lược backpressure thành giá trị mặc định ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Việc này đảm bảo mỗi lần chỉ phân phối một hình ảnh để phân tích. Nếu nhiều hình ảnh được tạo hơn khi trình phân tích bận, các hình ảnh đó sẽ tự động bị xóa và không được đưa vào hàng đợi phân phối. Khi hình ảnh đang được phân tích bị đóng bằng cách gọi ImageImage.Closed(), hình ảnh mới nhất sẽ được phân phối.
  • Nếu bạn sử dụng đầu ra của trình phát hiện để che phủ hình ảnh trên hình ảnh nhập vào, trước tiên, hãy lấy kết quả từ Bộ công cụ máy học, sau đó kết xuất hình ảnh và lớp phủ trong một bước duy nhất. Thao tác này sẽ xuất hiện trên bề mặt màn hình chỉ một lần cho mỗi khung đầu vào. Hãy xem các lớp CameraSourcePreview GraphicOverlay trong ứng dụng mẫu khởi động nhanh để xem ví dụ.
  • Nếu bạn sử dụng API Camera2, hãy chụp ảnh ở định dạng ImageFormat.YUV_420_888. Nếu bạn sử dụng API Máy ảnh cũ, hãy chụp ảnh ở định dạng ImageFormat.NV21.