تشخیص و ردیابی اشیا با ML Kit در Android

می‌توانید از ML Kit برای تشخیص و ردیابی اشیا در فریم‌های متوالی ویدیو استفاده کنید.

وقتی تصویری را به ML Kit ارسال می‌کنید، حداکثر پنج شیء را در تصویر به‌همراه موقعیت هر شیء در تصویر شناسایی می‌کند. هنگام شناسایی اشیاء در جاری‌سازی‌های ویدیویی، هر شیء شناسه یکتایی دارد که می‌توانید از آن برای ردیابی شیء از فریمی به فریم دیگر استفاده کنید. همچنین می‌توانید به‌طور اختیاری طبقه‌بندی شیء کلی را فعال کنید که اشیاء را با شرح‌های دسته گسترده برچسب‌گذاری می‌کند.

امتحان کنید

قبل‌از شروع

  1. در فایل build.gradle در سطح پروژه، حتماً مخزن Maven متعلق به Google را در هر دو بخش buildscript و allprojects اضافه کنید.
  2. وابستگی‌های کتابخانه‌های ML Kit Android را به فایل gradle سطح برنامه ماژول خود اضافه کنید، که معمولاً app/build.gradle است: 
    dependencies {
  // ...

  implementation 'com.google.mlkit:object-detection:17.0.2'

}

۱. پیکربندی تشخیص‌دهنده شیء

برای شناسایی و ردیابی اشیا، ابتدا نمونه‌ای از ObjectDetector ایجاد کنید و به‌صورت اختیاری هرگونه تنظیمات آشکارساز را که می‌خواهید از حالت پیش‌فرض تغییر دهید مشخص کنید.

  1. تشخیص‌دهنده شیء را برای مورد استفاده‌تان با شیء ObjectDetectorOptions پیکربندی کنید. می‌توانید تنظیمات زیر را تغییر دهید:

    تنظیمات تشخیص اشیا
    حالت تشخیص ‫STREAM_MODE (پیش‌فرض) | SINGLE_IMAGE_MODE

    در STREAM_MODE (پیش‌فرض)، تشخیص‌دهنده شیء با تأخیر کم اجرا می‌شود، اما ممکن است در چند فراخوانی اول تشخیص‌دهنده، نتایج ناقصی (مانند جعبه‌های مرزی نامشخص یا برچسب‌های دسته‌بندی) تولید کند. همچنین، در STREAM_MODE، آشکارساز شناسه‌های ردیابی را به اشیا اختصاص می‌دهد که می‌توانید از آن‌ها برای ردیابی اشیا در فریم‌ها استفاده کنید. وقتی می‌خواهید اشیاء را ردیابی کنید یا وقتی تأخیر کم مهم است، مثلاً هنگام پردازش هم‌زمان جاری‌سازی‌های ویدیویی، از این حالت استفاده کنید.

    در SINGLE_IMAGE_MODE، آشکارساز شیء نتیجه را پس‌از تعیین کادر محدودکننده شیء برمی‌گرداند. اگر دسته‌بندی را نیز فعال کنید، نتیجه را پس‌از دردسترس قرار گرفتن کادر محدودکننده و برچسب دسته برمی‌گرداند. درنتیجه، تأخیر تشخیص احتمالاً بیشتر است. همچنین، در SINGLE_IMAGE_MODE، شناسه‌های رهگیری اختصاص داده نمی‌شوند. اگر تأخیر مهم نیست و نمی‌خواهید با نتایج جزئی سروکار داشته باشید، از این حالت استفاده کنید.
    شناسایی و ردیابی چند شیء ‫false (پیش‌فرض) | true

    آیا حداکثر پنج شیء شناسایی و ردیابی شود یا فقط برجسته‌ترین شیء (پیش‌فرض).
    طبقه‌بندی اشیاء ‫false (پیش‌فرض) | true

    آیا اشیای شناسایی‌شده در دسته‌های کلی طبقه‌بندی شوند یا نه. وقتی فعال باشد، تشخیص‌دهنده اشیا اشیا را در دسته‌های زیر طبقه‌بندی می‌کند: کالاهای مد، غذا، کالاهای خانگی، مکان‌ها، و گیاهان.

    میانای برنامه‌سازی کاربردی تشخیص و ردیابی اشیا برای این دو مورد استفاده اصلی بهینه‌سازی شده است:

    • تشخیص و ردیابی زنده برجسته‌ترین شیء در نمایاب دوربین.
    • تشخیص چند سوژه از یک تصویر ثابت.

    برای پیکربندی کردن میانای برنامه‌سازی کاربردی برای این موارد استفاده:

    Kotlin

    // Live detection and tracking
val options = ObjectDetectorOptions.Builder()
        .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = ObjectDetectorOptions.Builder()
        .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

    جاوا

    // Live detection and tracking
ObjectDetectorOptions options =
        new ObjectDetectorOptions.Builder()
                .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
ObjectDetectorOptions options =
        new ObjectDetectorOptions.Builder()
                .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

  2. نمونه‌ای از ObjectDetector را دریافت کنید:

    Kotlin

    val objectDetector = ObjectDetection.getClient(options)

    جاوا

    ObjectDetector objectDetector = ObjectDetection.getClient(options);

۲. آماده کردن تصویر ورودی

برای تشخیص و ردیابی اشیا، تصاویر را به روش process() نمونه ObjectDetector ارسال کنید.

تشخیص‌دهنده اشیا مستقیماً از Bitmap، NV21 ByteBuffer یا YUV_420_888 media.Image اجرا می‌شود. اگر به یکی از این منابع دسترسی مستقیم دارید، توصیه می‌شود InputImage را از این منابع بسازید. اگر InputImage را از منابع دیگر بسازید، تبدیل را به‌طور داخلی برای شما انجام خواهیم داد و ممکن است کارایی کمتری داشته باشد.

برای هر قاب ویدیو یا تصویر در یک توالی، کارهای زیر را انجام دهید:

می‌توانید شیء InputImage را از منابع مختلف ایجاد کنید، هرکدام در زیر توضیح داده شده است.

استفاده از media.Image

برای ایجاد شیء InputImage از شیء media.Image، مثلاً وقتی تصویری را از دوربین دستگاه ضبط می‌کنید، شیء media.Image و چرخش تصویر را به InputImage.fromMediaImage() ارسال کنید.

اگر از کتابخانه CameraX استفاده می‌کنید، کلاس‌های OnImageCapturedListener و ImageAnalysis.Analyzer مقدار چرخش را برای شما محاسبه می‌کنند.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

جاوا

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

اگر از کتابخانه دوربینی استفاده نمی‌کنید که درجه چرخش تصویر را به شما بدهد، می‌توانید آن را از درجه چرخش دستگاه و جهت حسگر دوربین در دستگاه محاسبه کنید:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

جاوا

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

سپس، شیء media.Image و مقدار درجه چرخش را به InputImage.fromMediaImage() ارسال کنید:

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استفاده از URI فایل

برای ایجاد شیء InputImage از URI فایل، بافت برنامه و URI فایل را به InputImage.fromFilePath() ارسال کنید. این کار زمانی مفید است که از ACTION_GET_CONTENT intent برای درخواست از کاربر برای انتخاب تصویری از برنامه گالری‌اش استفاده می‌کنید.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استفاده از ByteBuffer یا ByteArray

برای ایجاد شیء InputImage از ByteBuffer یا ByteArray، ابتدا درجه چرخش تصویر را همان‌طور که قبلاً برای ورودی media.Image شرح داده شد محاسبه کنید. سپس، شیء InputImage را با میان‌گیر یا آرایه، به‌همراه ارتفاع، عرض، قالب کدبندی رنگ، و درجه چرخش تصویر ایجاد کنید:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

جاوا

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

استفاده از Bitmap

برای ایجاد شیء InputImage از شیء Bitmap، اعلان زیر را انجام دهید:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

تصویر با شیء Bitmap به‌همراه درجه چرخش نشان داده می‌شود.

۳. پردازش تصویر

تصویر را به روش process() ارسال کنید:

Kotlin

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

جاوا

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

۴. دریافت اطلاعات درباره اشیای شناسایی‌شده

اگر تماس با process() موفقیت‌آمیز باشد، فهرستی از DetectedObject به شنونده موفقیت ارسال می‌شود.

هر DetectedObject شامل ویژگی‌های زیر است:

چارگوش محصورکننده Rect که موقعیت شیء را در تصویر نشان می‌دهد.
شناسه رهگیری عدد صحیحی که شیء را در تصاویر شناسایی می‌کند. Null در SINGLE_IMAGE_MODE.
برچسب‌ها
شرح برچسب شرح نوشتاری برچسب. باید یکی از ثابت‌های «رشته» تعریف‌شده در PredefinedCategory باشد.
نمایه برچسب نمایه برچسب در میان همه برچسب‌های پشتیبانی‌شده توسط طبقه‌بندی‌کننده. این مقدار یکی از ثابت‌های عدد صحیح تعریف‌شده در PredefinedCategory خواهد بود.
اطمینان برچسب مقدار اطمینان طبقه‌بندی شیء.

Kotlin

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

جاوا

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

تضمین تجربه کاربری عالی

برای ارائه بهترین تجربه کاربری، این دستورالعمل‌ها را در برنامه‌تان دنبال کنید:

  • تشخیص موفقیت‌آمیز اشیا به پیچیدگی بصری شیء بستگی دارد. برای شناسایی شدن، اشیایی که تعداد کمی ویژگی بصری دارند ممکن است لازم باشد بخش بزرگ‌تری از تصویر را اشغال کنند. باید کاربران را درباره ضبط ورودی‌ای که با نوع اشیایی که می‌خواهید شناسایی کنید به‌خوبی کار می‌کند راهنمایی کنید.
  • وقتی از طبقه‌بندی استفاده می‌کنید، اگر می‌خواهید اشیایی را که به‌طور واضح در دسته‌های پشتیبانی‌شده قرار نمی‌گیرند شناسایی کنید، مدیریت ویژه‌ای برای اشیای ناشناخته پیاده‌سازی کنید.

همچنین، برنامه ویترین ML Kit Material Design و مجموعه الگوهای ویژگی‌های مجهز به یادگیری ماشین Material Design را بررسی کنید.

بهبود عملکرد

اگر می‌خواهید از تشخیص اشیا در یک برنامه هم‌زمان استفاده کنید، این دستورالعمل‌ها را دنبال کنید تا به بهترین نرخ فریم دست یابید:

  • وقتی از حالت جاری‌سازی در برنامه هم‌زمان استفاده می‌کنید، از تشخیص چند شیء استفاده نکنید، زیرا اکثر دستگاه‌ها نمی‌توانند نرخ فریم کافی تولید کنند.

  • اگر به طبقه‌بندی نیاز ندارید، آن را غیرفعال کنید.

  • اگر از Camera یا camera2 API استفاده می‌کنید، فراخوانی‌های آشکارساز را محدود کنید. اگر درحین اجرای آشکارساز، فریم ویدیویی جدیدی دردسترس قرار گرفت، فریم را رها کنید. برای دیدن نمونه، کلاس VisionProcessorBase را در برنامه نمونه شروع سریع ببینید.
  • اگر از CameraX API استفاده می‌کنید، مطمئن شوید که استراتژی فشار برگشتی روی مقدار پیش‌فرض آن ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST تنظیم شده باشد. این کار تضمین می‌کند که در هر بار فقط یک تصویر برای تجزیه‌وتحلیل ارسال شود. اگر وقتی تحلیل‌گر مشغول است تصاویر بیشتری تولید شود، این تصاویر به‌طور خودکار حذف می‌شوند و برای تحویل در صف قرار نمی‌گیرند. وقتی تصویری که درحال تجزیه‌وتحلیل است با فراخوانی ImageProxy.close()‎ بسته شود، تصویر جدید بعدی ارائه خواهد شد.
  • اگر از خروجی آشکارساز برای هم‌پوشانی گرافیک روی تصویر ورودی استفاده می‌کنید، ابتدا نتیجه را از ML Kit دریافت کنید، سپس تصویر و هم‌پوشانی را در یک مرحله رندر کنید. این مورد فقط یک‌بار برای هر فریم ورودی در سطح نمایشگر پرداز می‌شود. برای دیدن نمونه، کلاس‌های CameraSourcePreview و GraphicOverlay را در برنامه نمونه شروع سریع ببینید.
  • اگر از Camera2 API استفاده می‌کنید، تصاویر را در قالب ImageFormat.YUV_420_888 ضبط کنید. اگر از Camera API قدیمی‌تر استفاده می‌کنید، تصاویر را در قالب ImageFormat.NV21 ضبط کنید.