Etichetta le immagini con ML Kit su Android

Puoi utilizzare ML Kit per etichettare gli oggetti riconosciuti in un'immagine. Il modello predefinito fornito con ML Kit supporta oltre 400 etichette diverse.

Questa API è disponibile utilizzando una libreria non in bundle che deve essere scaricata prima dell'uso oppure un libreria in bundle che aumenta le dimensioni dell'app. Consulta: questa guida per ulteriori informazioni sulle differenze tra le due opzioni di installazione.

Funzionalità	Non raggruppati	In bundle
Implementazione	Il modello viene scaricato in modo dinamico tramite Google Play Services.	Il modello è collegato in modo statico al tuo al momento della creazione.
Dimensioni app	Aumento delle dimensioni di circa 200 kB.	Aumento delle dimensioni di circa 5,7 MB.
Tempo di inizializzazione	Potrebbe essere necessario attendere il download del modello prima del primo utilizzo.	Il modello è disponibile immediatamente

Prova

• Prova l'app di esempio per per vedere un esempio di utilizzo di questa API.

Prima di iniziare

Questa API richiede il livello API Android 21 o versioni successive. Assicurati che la build della tua app utilizza un valore minSdkVersion pari o superiore a 21.

1. Nel file build.gradle a livello di progetto, assicurati di includere la proprietà Repository Maven in entrambe le sezioni buildscript e allprojects.

2. Aggiungi le dipendenze per le librerie Android ML Kit agli file gradle a livello di app, che in genere è app/build.gradle. Scegli un'opzione tra le seguenti dipendenze in base alle tue esigenze:

   Per raggruppare il modello con la tua app:

   dependencies {
     // ...
     // Use this dependency to bundle the model with your app
     implementation 'com.google.mlkit:image-labeling:17.0.9'
   }
   

   Per l'utilizzo del modello in Google Play Services:

   dependencies {
     // ...
     // Use this dependency to use the dynamically downloaded model in Google Play Services
     implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8'
   }
   

3. Se scegli di utilizzare il modello in Google Play Services, puoi configurare dell'app per scaricare automaticamente il modello sul dispositivo una volta dal Play Store. A tale scopo, aggiungi la seguente dichiarazione a il file AndroidManifest.xml della tua app:

   <application ...>
         ...
         <meta-data
             android:name="com.google.mlkit.vision.DEPENDENCIES"
             android:value="ica" >
         <!-- To use multiple models: android:value="ica,model2,model3" -->
   </application>
   

   Puoi anche verificare esplicitamente la disponibilità del modello e richiedere il download tramite L'API ModuleInstallaClient di Google Play Services.

   Se non attivi i download dei modelli al momento dell'installazione o richiedi un download esplicito, il modello viene scaricato la prima volta che esegui l'etichettatore. Le tue richieste prima del completamento del download non producono risultati.

Ora è tutto pronto per etichettare le immagini.

1. Prepara l'immagine di input

Crea un oggetto InputImage dalla tua immagine. Lo strumento di etichettatura delle immagini funziona più velocemente quando usi un Bitmap o, se usi lo camera2 dell'API, un media.Image YUV_420_888, consigliate quando possibile.

Puoi creare una InputImage da diverse origini, ciascuna è spiegata di seguito.

Utilizzo di un media.Image

Per creare una InputImage da un oggetto media.Image, ad esempio quando acquisisci un'immagine da un fotocamera del dispositivo, passa l'oggetto media.Image e la rotazione in InputImage.fromMediaImage().

Se utilizzi nella libreria di CameraX, OnImageCapturedListener e ImageAnalysis.Analyzer classi calcolano il valore di rotazione per te.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Se non utilizzi una raccolta di videocamere che fornisce il grado di rotazione dell'immagine, può calcolarlo in base al grado di rotazione e all'orientamento della fotocamera nel dispositivo:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Quindi, passa l'oggetto media.Image e valore del grado di rotazione su InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Utilizzo di un URI del file

Per creare una InputImage da un URI file, passa il contesto dell'app e l'URI del file a InputImage.fromFilePath(). È utile quando utilizza un intent ACTION_GET_CONTENT per chiedere all'utente di selezionare un'immagine dall'app Galleria.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Con ByteBuffer o ByteArray

Per creare una InputImage oggetto da un valore ByteBuffer o ByteArray, prima calcola l'immagine grado di rotazione come descritto in precedenza per l'input media.Image. Quindi, crea l'oggetto InputImage con il buffer o l'array, insieme al campo altezza, larghezza, formato di codifica del colore e grado di rotazione:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Utilizzo di un Bitmap

Per creare una InputImage oggetto da un oggetto Bitmap, effettua la seguente dichiarazione:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

L'immagine è rappresentata da un oggetto Bitmap e da un grado di rotazione.

2. Configura ed esegui l'etichettatore delle immagini

Per etichettare gli oggetti in un'immagine, passa l'oggetto InputImage all'elemento Metodo process di ImageLabeler.

1. Per prima cosa, ottieni un'istanza ImageLabeler

   Se vuoi utilizzare l'etichettatore di immagini on-device, procedi come segue dichiarazione:

Kotlin

// To use default options:
val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS)

// Or, to set the minimum confidence required:
// val options = ImageLabelerOptions.Builder()
//     .setConfidenceThreshold(0.7f)
//     .build()
// val labeler = ImageLabeling.getClient(options)
ImageLabelingActivity.kt

Java

// To use default options:
ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS);

// Or, to set the minimum confidence required:
// ImageLabelerOptions options =
//     new ImageLabelerOptions.Builder()
//         .setConfidenceThreshold(0.7f)
//         .build();
// ImageLabeler labeler = ImageLabeling.getClient(options);
ImageLabelingActivity.java

1. Quindi, passa l'immagine al metodo process():

Kotlin

labeler.process(image)
        .addOnSuccessListener { labels ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }
ImageLabelingActivity.kt

Java

labeler.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
            @Override
            public void onSuccess(List<ImageLabel> labels) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });
ImageLabelingActivity.java

Nota: se utilizzi CameraX, assicurati di chiudere ImageProxy quando hai finito di utilizzarlo, ad esempio aggiungendo OnCompleteListener al Task restituito dal process. Consulta le VisionProcessorBase nell'app di esempio della guida rapida per un esempio.

3. Ottieni informazioni sugli oggetti etichettati

Se l'operazione di etichettatura delle immagini ha esito positivo, viene visualizzato un elenco ImageLabel oggetti vengono passati al listener riuscito. Ciascuna L'oggetto ImageLabel rappresenta un elemento etichettato nell'immagine. La base supporta oltre 400 etichette diverse. Puoi ottenere la descrizione testuale di ogni etichetta e l'indice tra tutte le etichette supportate il modello e il punteggio di confidenza della corrispondenza. Ad esempio:

Kotlin

for (label in labels) {
    val text = label.text
    val confidence = label.confidence
    val index = label.index
}
ImageLabelingActivity.kt

Java

for (ImageLabel label : labels) {
    String text = label.getText();
    float confidence = label.getConfidence();
    int index = label.getIndex();
}
ImageLabelingActivity.java

Suggerimenti per migliorare il rendimento in tempo reale

Se vuoi etichettare le immagini in un'applicazione in tempo reale, segui questi passaggi: linee guida per ottenere le migliori frequenze fotogrammi:

• Se utilizzi Camera oppure API camera2, limitare le chiamate all'etichettatore delle immagini. Se viene pubblicato un nuovo video diventa disponibile mentre l'etichettatore delle immagini è in esecuzione, rilascia il frame. Consulta le VisionProcessorBase nell'app di esempio della guida rapida per un esempio.
• Se utilizzi l'API CameraX, assicurati che la strategia di contropressione sia impostata sul valore predefinito ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Ciò garantisce che verrà pubblicata una sola immagine alla volta per l'analisi. Se vengono visualizzate altre immagini generati quando l'analizzatore è occupato, verranno eliminati automaticamente e non verranno messi in coda la distribuzione dei contenuti. Dopo aver chiuso l'immagine da analizzare richiamando ImageProxy.close(), verrà pubblicata l'immagine successiva più recente.
• Se utilizzi l'output dello strumento di etichettatura delle immagini per sovrapporre gli elementi grafici l'immagine di input, occorre prima ottenere il risultato da ML Kit, quindi eseguire il rendering dell'immagine e la sovrapposizione in un solo passaggio. Viene visualizzata sulla superficie di visualizzazione solo una volta per ogni frame di input. Consulta le CameraSourcePreview e GraphicOverlay nell'app di esempio della guida rapida per un esempio.
• Se utilizzi l'API Camera2, acquisisci le immagini in Formato ImageFormat.YUV_420_888. Se usi l'API Camera precedente, acquisisci le immagini in Formato ImageFormat.NV21.