Android पर, पसंद के मुताबिक बनाए गए क्लासिफ़िकेशन मॉडल की मदद से, चीज़ों का पता लगाएं, उन्हें ट्रैक करें, और उनकी कैटगरी तय करें

एमएल किट का इस्तेमाल, वीडियो फ़्रेम में ऑब्जेक्ट का पता लगाने और उन्हें ट्रैक करने के लिए किया जा सकता है.

जब कोई इमेज ML Kit में पास की जाती है, तो यह इमेज में ज़्यादा से ज़्यादा पांच ऑब्जेक्ट का पता लगाती है साथ ही, आपको इमेज में हर ऑब्जेक्ट की जगह की जानकारी भी मिलेगी. इसमें ऑब्जेक्ट का पता लगाते समय वीडियो स्ट्रीम, हर ऑब्जेक्ट का एक यूनीक आईडी होता है, जिसका इस्तेमाल करके ऑब्जेक्ट को ट्रैक किया जा सकता है से फ़्रेम-दर-फ़्रेम सेट करें.

कस्टम इमेज क्लासिफ़िकेशन मॉडल का इस्तेमाल करके, उन ऑब्जेक्ट को कैटगरी में बांटा जा सकता है जिन्हें की पहचान की गई. कृपया इनके लिए एमएल किट वाले कस्टम मॉडल देखें मॉडल के साथ काम करने से जुड़ी ज़रूरी शर्तों के बारे में दिशा-निर्देश, पहले से ट्रेनिंग किए गए मॉडल कहां मिलेंगे, साथ ही, अपने मॉडल को ट्रेनिंग देने का तरीक़ा बताया गया है.

कस्टम मॉडल को इंटिग्रेट करने के दो तरीके हैं. आप मॉडल को इसके अनुसार बंडल कर सकते हैं उसे अपने ऐप्लिकेशन के ऐसेट फ़ोल्डर में रखना या डाइनैमिक तौर पर डाउनलोड करना को Firebase से हटाएं. नीचे दी गई टेबल में दो विकल्पों की तुलना की गई है.

बंडल किया गया मॉडल होस्ट किया गया मॉडल
मॉडल आपके ऐप्लिकेशन के APK का हिस्सा होता है, जो इसका साइज़ बढ़ाता है. मॉडल आपके APK का हिस्सा नहीं है. इसे यहां अपलोड करके होस्ट किया जाता है Firebase मशीन लर्निंग.
Android डिवाइस के ऑफ़लाइन होने पर भी, मॉडल तुरंत उपलब्ध हो जाता है मॉडल को मांग पर डाउनलोड किया जाता है
Firebase प्रोजेक्ट की ज़रूरत नहीं होती है Firebase प्रोजेक्ट होना ज़रूरी है
मॉडल को अपडेट करने के लिए, आपको अपने ऐप्लिकेशन को फिर से पब्लिश करना होगा अपने ऐप्लिकेशन को फिर से पब्लिश किए बिना, मॉडल के अपडेट पुश करें
पहले से कोई A/B टेस्टिंग नहीं है Firebase रिमोट कॉन्फ़िगरेशन की मदद से आसान A/B टेस्टिंग

इसे आज़माएं

शुरू करने से पहले

  1. अपनी प्रोजेक्ट-लेवल की build.gradle फ़ाइल में, यह पक्का करें कि आपके buildscript और, दोनों में Google की Maven रिपॉज़िटरी allprojects सेक्शन.

  2. अपने मॉड्यूल में ML Kit Android लाइब्रेरी के लिए डिपेंडेंसी जोड़ें ऐप्लिकेशन-लेवल की Gradle फ़ाइल, जो आम तौर पर app/build.gradle होती है:

    अपने ऐप्लिकेशन के साथ किसी मॉडल को बंडल करने के लिए:

    dependencies {
  // ...
  // Object detection & tracking feature with custom bundled model
  implementation 'com.google.mlkit:object-detection-custom:17.0.2'
}

    Firebase से मॉडल को डाइनैमिक तौर पर डाउनलोड करने के लिए, linkFirebase जोड़ें निर्भरता:

    dependencies {
  // ...
  // Object detection & tracking feature with model downloaded
  // from firebase
  implementation 'com.google.mlkit:object-detection-custom:17.0.2'
  implementation 'com.google.mlkit:linkfirebase:17.0.0'
}

  3. अगर आपको कोई मॉडल डाउनलोड करना है, तो पक्का करें कि अपने Android प्रोजेक्ट में Firebase जोड़ना, अगर आपने पहले से ऐसा नहीं किया है. मॉडल को बंडल करते समय, इसकी ज़रूरत नहीं होती.

1. मॉडल लोड करें

लोकल मॉडल सोर्स कॉन्फ़िगर करना

मॉडल को अपने ऐप्लिकेशन के साथ बंडल करने के लिए:

  1. अपने ऐप्लिकेशन की मॉडल फ़ाइल (आम तौर पर, .tflite या .lite पर खत्म होने वाली) कॉपी करें assets/ फ़ोल्डर. (आपको पहले फ़ोल्डर बनाना पड़ सकता है app/ फ़ोल्डर पर राइट-क्लिक करें, फिर नया > फ़ोल्डर > ऐसेट फ़ोल्डर.)

  2. इसके बाद, यह पक्का करने के लिए कि अपने ऐप्लिकेशन की build.gradle फ़ाइल में ये चीज़ें जोड़ें ऐप्लिकेशन बनाते समय, Gradle, मॉडल फ़ाइल को कंप्रेस नहीं करता:

    android {
    // ...
    aaptOptions {
        noCompress "tflite"
        // or noCompress "lite"
    }
}

    मॉडल फ़ाइल, ऐप्लिकेशन के पैकेज में शामिल की जाएगी और ML किट में उपलब्ध होगी रॉ ऐसेट के तौर पर काम करता है.

  3. मॉडल फ़ाइल का पाथ बताते हुए LocalModel ऑब्जेक्ट बनाएं:

    Kotlin

    val localModel = LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build()

    Java

    LocalModel localModel =
    new LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build();

Firebase से होस्ट किए गए मॉडल सोर्स को कॉन्फ़िगर करना

रिमोट तरीके से होस्ट किए गए मॉडल का इस्तेमाल करने के लिए, इसके हिसाब से CustomRemoteModel ऑब्जेक्ट बनाएं FirebaseModelSource, उस नाम के बारे में बताता है जिसे आपने मॉडल को असाइन किया था. इसे प्रकाशित किया:

Kotlin

// Specify the name you assigned in the Firebase console.
val remoteModel =
    CustomRemoteModel
        .Builder(FirebaseModelSource.Builder("your_model_name").build())
        .build()

Java

// Specify the name you assigned in the Firebase console.
CustomRemoteModel remoteModel =
    new CustomRemoteModel
        .Builder(new FirebaseModelSource.Builder("your_model_name").build())
        .build();

इसके बाद, उन शर्तों को तय करते हुए मॉडल डाउनलोड टास्क शुरू करें को डाउनलोड करने की अनुमति देनी है. अगर मॉडल डिवाइस पर नहीं है या नया डिवाइस है, तो मॉडल का वर्शन उपलब्ध है, तो टास्क एसिंक्रोनस रूप से Firebase से मिला मॉडल:

Kotlin

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

Java

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(@NonNull Task task) {
                // Success.
            }
        });

कई ऐप्लिकेशन अपने इनिशलाइज़ेशन कोड में डाउनलोड का काम शुरू करते हैं, लेकिन आपके द्वारा मॉडल का उपयोग करने की आवश्यकता से पहले किसी भी समय ऐसा कर सकते है.

2. ऑब्जेक्ट डिटेक्टर को कॉन्फ़िगर करें

अपने मॉडल के सोर्स कॉन्फ़िगर करने के बाद, अपने CustomObjectDetectorOptions ऑब्जेक्ट के साथ इस्तेमाल का उदाहरण. आप ये सेटिंग:

ऑब्जेक्ट डिटेक्टर की सेटिंग
पहचान मोड STREAM_MODE (डिफ़ॉल्ट) | SINGLE_IMAGE_MODE

STREAM_MODE (डिफ़ॉल्ट तौर पर) में, ऑब्जेक्ट डिटेक्टर चलता है लेकिन इंतज़ार का समय कम हो, लेकिन हो सकता है कि नतीजे पूरे न हों (जैसे कि अनिर्दिष्ट बाउंडिंग बॉक्स या कैटगरी लेबल) डिटेक्टर के इस्तेमाल से जुड़ी जानकारी. साथ ही, STREAM_MODE में, डिटेक्टर, ऑब्जेक्ट को ट्रैकिंग आईडी असाइन करता है, जिनका इस्तेमाल इन कामों के लिए किया जा सकता है अलग-अलग फ़्रेम पर ऑब्जेक्ट ट्रैक कर सकते हैं. ट्रैक करने के लिए, इस मोड का इस्तेमाल करें ऑब्जेक्ट या जब इंतज़ार का समय कम होना ज़रूरी हो, जैसे कि प्रोसेस करते समय रीयल टाइम में वीडियो स्ट्रीम करने की सुविधा मिलती है.

SINGLE_IMAGE_MODE में, ऑब्जेक्ट डिटेक्टर वापस लौटता है ऑब्जेक्ट का बाउंडिंग बॉक्स तय करने के बाद मिलने वाला नतीजा. अगर आपको क्लासिफ़िकेशन के बाद, यह बाउंडिंग के बाद नतीजा दिखाता है बॉक्स और श्रेणी लेबल, दोनों उपलब्ध हैं. इस वजह से, जांच में लगने वाला समय ज़्यादा हो सकता है. साथ ही, SINGLE_IMAGE_MODE, ट्रैकिंग आईडी असाइन नहीं किए गए हैं. इस्तेमाल की जाने वाली चीज़ें यह मोड तब लागू होता है, जब इंतज़ार का समय काफ़ी अहम न हो और आपको आंशिक नतीजे.
एक से ज़्यादा ऑब्जेक्ट का पता लगाएं और उन्हें ट्रैक करें false (डिफ़ॉल्ट) | true

ज़्यादा से ज़्यादा पांच ऑब्जेक्ट या सिर्फ़ सबसे ज़्यादा ऑब्जेक्ट का पता लगाना और उन्हें ट्रैक करना है या नहीं साफ़ तौर पर दिखने वाला ऑब्जेक्ट (डिफ़ॉल्ट).
ऑब्जेक्ट को वर्गीकृत करें false (डिफ़ॉल्ट) | true

दिए गए विकल्पों का इस्तेमाल करके, पता लगाए गए ऑब्जेक्ट की कैटगरी तय करनी है या नहीं कस्टम क्लासिफ़ायर मॉडल का इस्तेमाल करें. पसंद के मुताबिक तय की गई कैटगरी का इस्तेमाल करने के लिए मॉडल, आपको इसे true पर सेट करना होगा.

क्लासिफ़िकेशन कॉन्फ़िडेंस थ्रेशोल्ड

पता लगाए गए लेबल का कम से कम कॉन्फ़िडेंस स्कोर. अगर यह नीति सेट नहीं है, तो किसी भी मॉडल के मेटाडेटा से तय किया गया क्लासिफ़ायर थ्रेशोल्ड इस्तेमाल किया जाएगा. अगर मॉडल में कोई मेटाडेटा नहीं है या मेटाडेटा में डेटा की कैटगरी तय करने वाले थ्रेशोल्ड को तय करें, तो डिफ़ॉल्ट थ्रेशोल्ड 0.0 होगा इस्तेमाल किया गया.
हर ऑब्जेक्ट के लिए ज़्यादा से ज़्यादा लेबल

हर ऑब्जेक्ट के हिसाब से लेबल की वह ज़्यादा से ज़्यादा संख्या जिसे डिटेक्टर वापसी. अगर यह नीति सेट नहीं है, तो डिफ़ॉल्ट वैल्यू 10 का इस्तेमाल किया जाएगा.

ऑब्जेक्ट की पहचान और ट्रैकिंग एपीआई को इन दो मुख्य इस्तेमाल के लिए ऑप्टिमाइज़ किया गया है मामले:

  • कैमरे में सबसे ज़रूरी चीज़ का लाइव पता लगाना और उसे ट्रैक करना व्यूफ़ाइंडर.
  • किसी स्टैटिक इमेज से कई ऑब्जेक्ट की पहचान करना.

स्थानीय तौर पर-बंडल किए गए मॉडल के साथ, इस्तेमाल के इन उदाहरणों के लिए, एपीआई को कॉन्फ़िगर करें:

Kotlin

// Live detection and tracking
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

// Multiple object detection in static images
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)

Java

// Live detection and tracking
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

// Multiple object detection in static images
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

ObjectDetector objectDetector =
    ObjectDetection.getClient(customObjectDetectorOptions);

अगर आपके पास रिमोट तौर पर होस्ट किया गया मॉडल है, तो आपको यह देखना होगा कि डाउनलोड करने की सुविधा देता है. मॉडल के डाउनलोड होने की स्थिति देखी जा सकती है टास्क बनाने के लिए, मॉडल मैनेजर के isModelDownloaded() तरीके का इस्तेमाल करें.

हालांकि, आपको डिटेक्टर चलाने से पहले ही इसकी पुष्टि करनी होगी, अगर रिमोट तौर पर होस्ट किया गया मॉडल और लोकल-बंडल्ड मॉडल, दोनों होने चाहिए, तो इससे इमेज डिटेक्टर को इंस्टैंशिएट करते समय इस जांच को करने का एहसास होगा: रिमोट मॉडल से और स्थानीय रिपोर्ट से डाउनलोड किया गया डिटेक्टर नहीं करते हैं.

Kotlin

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener { isDownloaded ->
    val optionsBuilder =
        if (isDownloaded) {
            CustomObjectDetectorOptions.Builder(remoteModel)
        } else {
            CustomObjectDetectorOptions.Builder(localModel)
        }
    val customObjectDetectorOptions = optionsBuilder
            .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
            .enableClassification()
            .setClassificationConfidenceThreshold(0.5f)
            .setMaxPerObjectLabelCount(3)
            .build()
    val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)
}

Java

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener(new OnSuccessListener() {
        @Override
        public void onSuccess(Boolean isDownloaded) {
            CustomObjectDetectorOptions.Builder optionsBuilder;
            if (isDownloaded) {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(remoteModel);
            } else {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(localModel);
            }
            CustomObjectDetectorOptions customObjectDetectorOptions = optionsBuilder
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();
            ObjectDetector objectDetector =
                ObjectDetection.getClient(customObjectDetectorOptions);
        }
});

अगर आपके पास सिर्फ़ रिमोट तौर पर होस्ट किया गया मॉडल है, तो आपको मॉडल से जुड़ी सेटिंग बंद करनी चाहिए फ़ंक्शनलिटी—उदाहरण के लिए, आपके यूज़र इंटरफ़ेस (यूआई) के किसी हिस्से को धूसर करना या छिपाना—जब तक तो यह पुष्टि की जाती है कि मॉडल डाउनलोड किया गया है. लिसनर को अटैच करके ऐसा किया जा सकता है मॉडल मैनेजर की download() विधि में:

Kotlin

RemoteModelManager.getInstance().download(remoteModel, conditions)
    .addOnSuccessListener {
        // Download complete. Depending on your app, you could enable the ML
        // feature, or switch from the local model to the remote model, etc.
    }

Java

RemoteModelManager.getInstance().download(remoteModel, conditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Void v) {
              // Download complete. Depending on your app, you could enable
              // the ML feature, or switch from the local model to the remote
              // model, etc.
            }
        });

3. इनपुट इमेज तैयार करें

अपनी इमेज से InputImage ऑब्जेक्ट बनाएं. ऑब्जेक्ट डिटेक्टर सीधे Bitmap, NV21 ByteBuffer या YUV_420_888 media.Image. उन सोर्स से InputImage बनाना का सुझाव दिया जाता है. अगर आपके पास इनमें से किसी एक का सीधा ऐक्सेस है. अगर आपको दूसरे सोर्स से InputImage मिला है, हम आप और आसानी से अपना काम बेहतर तरीके से करना मुश्किल हो सकता है.

एक InputImage बनाया जा सकता है अलग-अलग सोर्स के ऑब्जेक्ट के बारे में बताया गया है. हर ऑब्जेक्ट के बारे में नीचे बताया गया है.

media.Image का इस्तेमाल करके

InputImage बनाने के लिए किसी media.Image ऑब्जेक्ट से मिला ऑब्जेक्ट, जैसे कि जब आप किसी ऑब्जेक्ट से इमेज कैप्चर करते हैं फ़ोन का कैमरा इस्तेमाल करने के लिए, media.Image ऑब्जेक्ट को पास करें और इमेज के InputImage.fromMediaImage() का रोटेशन.

अगर आपको CameraX लाइब्रेरी, OnImageCapturedListener, और ImageAnalysis.Analyzer क्लास, रोटेशन वैल्यू को कैलकुलेट करती हैं आपके लिए.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

अगर इमेज का रोटेशन डिग्री देने वाली कैमरा लाइब्रेरी का इस्तेमाल नहीं किया जाता, तो डिवाइस की रोटेशन डिग्री और कैमरे के ओरिएंटेशन से इसका हिसाब लगा सकता है डिवाइस में सेंसर:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

इसके बाद, media.Image ऑब्जेक्ट को पास करें और InputImage.fromMediaImage() डिग्री पर घुमाव:

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

फ़ाइल यूआरआई का इस्तेमाल करना

InputImage बनाने के लिए किसी फ़ाइल यूआरआई से ऑब्जेक्ट को जोड़ने के लिए, ऐप्लिकेशन संदर्भ और फ़ाइल यूआरआई को InputImage.fromFilePath(). यह तब काम आता है, जब उपयोगकर्ता को चुनने का प्रॉम्प्ट भेजने के लिए, ACTION_GET_CONTENT इंटेंट का इस्तेमाल करें अपने गैलरी ऐप्लिकेशन से मिली इमेज शामिल करेगा.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

ByteBuffer या ByteArray का इस्तेमाल करना

InputImage बनाने के लिए ByteBuffer या ByteArray से लिया गया ऑब्जेक्ट है, तो पहले इमेज की गणना करें media.Image इनपुट के लिए पहले बताई गई रोटेशन डिग्री. इसके बाद, इमेज के साथ बफ़र या अरे का इस्तेमाल करके, InputImage ऑब्जेक्ट बनाएं ऊंचाई, चौड़ाई, कलर एन्कोडिंग फ़ॉर्मैट, और रोटेशन डिग्री:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Bitmap का इस्तेमाल करके

InputImage बनाने के लिए Bitmap ऑब्जेक्ट में बनाए गए ऑब्जेक्ट के लिए, यह एलान करें:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

इमेज को Bitmap ऑब्जेक्ट से, रोटेशन डिग्री के साथ दिखाया गया है.

4. ऑब्जेक्ट डिटेक्टर चलाएं

Kotlin

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (detectedObject in results) {
          // ...
        }
    });

Java

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (DetectedObject detectedObject : results) {
          // ...
        }
    });

5. लेबल किए गए ऑब्जेक्ट के बारे में जानकारी पाना

अगर process() को कॉल किया जाता है, तो DetectedObject की एक सूची सफलता की कहानी बयां करते हैं.

हर DetectedObject में ये प्रॉपर्टी शामिल होती हैं:

बाउंडिंग बॉक्स Rect, जो इमेज.
ट्रैकिंग आईडी वह पूर्णांक जो सभी इमेज में ऑब्जेक्ट की पहचान करता है. शून्य इन सिंगल_इमेज_मोड.
लेबल
लेबल वर्णन लेबल के टेक्स्ट की जानकारी. यह तब ही लौटाया जाता है, जब TensorFlow लाइट मॉडल के मेटाडेटा में लेबल की जानकारी शामिल है.
लेबल इंडेक्स द्वारा समर्थित सभी लेबल में से लेबल का इंडेक्स क्लासिफ़ायर का इस्तेमाल करें.
लेबल कॉन्फ़िडेंस ऑब्जेक्ट क्लासिफ़िकेशन की कॉन्फ़िडेंस वैल्यू.

Kotlin

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (detectedObject in results) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
      val text = label.text
      val index = label.index
      val confidence = label.confidence
    }
}

Java

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : results) {
  Rect boundingBox = detectedObject.getBoundingBox();
  Integer trackingId = detectedObject.getTrackingId();
  for (Label label : detectedObject.getLabels()) {
    String text = label.getText();
    int index = label.getIndex();
    float confidence = label.getConfidence();
  }
}

बेहतरीन उपयोगकर्ता अनुभव देना

बेहतरीन उपयोगकर्ता अनुभव के लिए, अपने ऐप्लिकेशन में इन दिशा-निर्देशों का पालन करें:

  • ऑब्जेक्ट की पहचान हो पाना, ऑब्जेक्ट की विज़ुअल जटिलता पर निर्भर करता है. तय सीमा में कम विज़ुअल सुविधाओं वाले ऑब्जेक्ट का पता लगाने के लिए, इस्तेमाल करके इमेज के बड़े हिस्से का इस्तेमाल किया जा सकता है. आपको उपयोगकर्ताओं को इसके बारे में दिशा-निर्देश देने चाहिए कैप्चर करना जो ऐसे ऑब्जेक्ट के साथ अच्छा काम करता है जिनका आपको पता लगाना है.
  • क्लासिफ़िकेशन का इस्तेमाल करते समय, अगर आपको ऐसे ऑब्जेक्ट का पता लगाना है जो गिरते नहीं हैं समर्थित श्रेणियों में साफ़ तौर पर, अज्ञात के लिए विशेष हैंडलिंग लागू करें ऑब्जेक्ट हैं.

साथ ही, इसे देखें ML Kit Material Design का शोकेस ऐप्लिकेशन और मटीरियल डिज़ाइन मशीन लर्निंग का इस्तेमाल करके काम करने वाली सुविधाओं के पैटर्न का कलेक्शन.

Improving performance

अगर आपको रीयल-टाइम ऐप्लिकेशन में ऑब्जेक्ट की पहचान करने की सुविधा का इस्तेमाल करना है, तो इन निर्देशों का पालन करें सबसे सही फ़्रेमरेट हासिल करने के लिए दिशा-निर्देश:

  • रीयल-टाइम ऐप्लिकेशन में स्ट्रीमिंग मोड का इस्तेमाल करते समय, एक से ज़्यादा बार ऑब्जेक्ट पहचानने की सुविधा मिलती है, क्योंकि ज़्यादातर डिवाइस सही फ़्रेमरेट नहीं बना पाएंगे.

  • अगर आपको Camera या camera2 एपीआई, डिटेक्टर को कॉल थ्रॉटल करती हूँ. अगर किसी नए वीडियो पर डिटेक्टर के चलने के दौरान फ़्रेम उपलब्ध हो जाता है, फ़्रेम छोड़ दें. ज़्यादा जानकारी के लिए, उदाहरण के लिए, क्विकस्टार्ट सैंपल ऐप्लिकेशन में VisionProcessorBase क्लास.
  • अगर CameraX एपीआई का इस्तेमाल किया जाता है, तो पक्का करें कि बैक प्रेशर स्ट्रेटजी अपनी डिफ़ॉल्ट वैल्यू पर सेट है ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. इससे यह गारंटी मिलती है कि विश्लेषण के लिए एक बार में सिर्फ़ एक इमेज डिलीवर की जाएगी. अगर और इमेज जब एनालाइज़र व्यस्त होता है, तो उसे जनरेट कर दिया जाता है. उसे अपने-आप हटा दिया जाता है. डिलीवरी. जिस इमेज की जांच की जा रही है उसे बंद करने के लिए, इस नंबर पर कॉल करें Imageप्रॉक्सी.close(), अगली सबसे नई इमेज डिलीवर की जाएगी.
  • अगर ग्राफ़िक ओवरले करने के लिए डिटेक्टर के आउटपुट का इस्तेमाल किया जाता है, तो इनपुट इमेज को चुनने के बाद, पहले एमएल किट से नतीजा पाएं. इसके बाद, इमेज को रेंडर करें और ओवरले को एक ही चरण में पूरा करें. यह डिसप्ले की सतह पर रेंडर हो जाता है हर इनपुट फ़्रेम के लिए सिर्फ़ एक बार. ज़्यादा जानकारी के लिए, CameraSourcePreview और उदाहरण के लिए, क्विकस्टार्ट सैंपल ऐप्लिकेशन में GraphicOverlay क्लास.
  • Camera2 API का इस्तेमाल करने पर, इमेज यहां कैप्चर करें ImageFormat.YUV_420_888 फ़ॉर्मैट. अगर पुराने Camera API का इस्तेमाल किया जा रहा है, तो इमेज यहां कैप्चर करें ImageFormat.NV21 फ़ॉर्मैट.