Diese Seite wurde von der Cloud Translation API übersetzt.

Bilder mit einem benutzerdefinierten Modell auf Android-Geräten beschriften

Mit ML Kit können Sie Entitäten in einem Bild erkennen und mit Labels versehen. Diese API unterstützt eine breite Palette benutzerdefinierter Bildklassifizierungsmodelle. Bitte Weitere Informationen finden Sie unter Benutzerdefinierte Modelle mit ML Kit. Anforderungen an die Modellkompatibilität, wo Sie vortrainierte Modelle finden, und wie Sie eigene Modelle trainieren.

Es gibt zwei Möglichkeiten, die Bildbeschriftung in benutzerdefinierte Modelle zu integrieren: durch Bündelung die Pipeline als Teil Ihrer Anwendung verwenden oder eine entbündelte Pipeline verwenden, in den Google Play-Diensten. Wenn Sie die entbündelte Pipeline auswählen, wird Ihre App kleiner sind. Weitere Details finden Sie in der Tabelle unten.

	Gebündelt	Nicht gebündelt
Name der Bibliothek	`com.google.mlkit:image-labeling-custom`	`com.google.android.gms:play-services-mlkit-image-labeling-custom`
Implementierung	Die Pipeline ist zum Zeitpunkt der Erstellung statisch mit Ihrer Anwendung verknüpft.	Die Pipeline wird dynamisch über die Google Play-Dienste heruntergeladen.
App-Größe	Die Größe wird um etwa 3,8 MB erhöht.	Die Größe wurde um etwa 200 KB erhöht.
Initialisierungszeit	Die Pipeline ist sofort verfügbar.	Vor der ersten Verwendung muss möglicherweise auf den Download der Pipeline gewartet werden.
API-Lebenszyklusphase	General Availability (GA)	Beta

Es gibt zwei Möglichkeiten, ein benutzerdefiniertes Modell zu integrieren: Sie bündeln das Modell nach im Asset-Ordner Ihrer App ablegen oder dynamisch herunterladen von Firebase. In der folgenden Tabelle werden diese beiden Optionen verglichen.

Gebündeltes Modell	Gehostetes Modell
Das Modell ist Teil des APK Ihrer App, wodurch die Größe erhöht wird.	Das Modell ist nicht Teil Ihres APK. Sie wird gehostet, indem Firebase Machine Learning.
Das Modell ist sofort verfügbar, auch wenn das Android-Gerät offline ist	Das Modell wird on demand heruntergeladen
Kein Firebase-Projekt erforderlich	Firebase-Projekt erforderlich
Du musst deine App noch einmal veröffentlichen, um das Modell zu aktualisieren	Modellaktualisierungen senden, ohne die App neu zu veröffentlichen
Keine integrierten A/B-Tests	Einfache A/B-Tests mit Firebase Remote Config

Jetzt ausprobieren

Kurzanleitung zur Vision finden Sie ein Anwendungsbeispiel für das gebündelte Modell und den automl-Schnellstartanwendung für eine Verwendungsbeispiel für das gehostete Modell.

Hinweis

In der Datei build.gradle auf Projektebene muss Folgendes angegeben werden: Das Maven-Repository von Google sowohl in buildscript als auch allprojects Bereiche.

Fügen Sie die Abhängigkeiten für die ML Kit-Android-Bibliotheken Ihres Moduls Gradle-Datei auf App-Ebene, in der Regel app/build.gradle. Wählen Sie eine der folgenden Abhängigkeiten verwenden:

So bündeln Sie die Pipeline mit Ihrer Anwendung:

dependencies {
  // ...
  // Use this dependency to bundle the pipeline with your app
  implementation 'com.google.mlkit:image-labeling-custom:17.0.3'
}

So verwenden Sie die Pipeline in den Google Play-Diensten:

dependencies {
  // ...
  // Use this dependency to use the dynamically downloaded pipeline in Google Play Services
  implementation 'com.google.android.gms:play-services-mlkit-image-labeling-custom:16.0.0-beta5'
}

Wenn Sie die Pipeline in den Google Play-Diensten verwenden, können Sie konfigurieren Sie Ihre App so, dass die Pipeline nach der Installation automatisch auf das Gerät heruntergeladen wird. Ihre App über den Play Store installiert wurde. Fügen Sie dazu Folgendes hinzu: Deklaration in der Datei AndroidManifest.xml deiner App an:
```
<application ...>
    ...
    <meta-data
        android:name="com.google.mlkit.vision.DEPENDENCIES"
        android:value="custom_ica" />
    
</application>
```
Sie können die Pipeline-Verfügbarkeit auch explizit prüfen und einen Download über Die Google Play-Dienste ModuleInstallClient API.

Wenn Sie Pipelinedownloads zur Installationszeit nicht aktivieren oder expliziten Download anfordern, wird die Pipeline heruntergeladen, wenn Sie den Labelersteller zum ersten Mal ausführen. Von Ihnen gestellte Anfragen bevor der Download abgeschlossen ist, keine Ergebnisse liefern.

Fügen Sie die Abhängigkeit linkFirebase hinzu, wenn Sie ein aus Firebase verwenden:

Fügen Sie zum dynamischen Herunterladen eines Modells aus Firebase die linkFirebase Abhängigkeit:

dependencies {
  // ...
  // Image labeling feature with model downloaded from Firebase
  implementation 'com.google.mlkit:image-labeling-custom:17.0.3'
  // Or use the dynamically downloaded pipeline in Google Play Services
  // implementation 'com.google.android.gms:play-services-mlkit-image-labeling-custom:16.0.0-beta5'
  implementation 'com.google.mlkit:linkfirebase:17.0.0'
}

Wenn Sie ein Modell herunterladen möchten, müssen Sie Firebase zu Ihrem Android-Projekt hinzufügen, falls noch nicht geschehen. Dies ist nicht erforderlich, wenn Sie das Modell als Paket anbieten.

1. Modell laden

Lokale Modellquelle konfigurieren

So bündeln Sie das Modell mit Ihrer App:

Kopieren Sie die Modelldatei (in der Regel mit der Endung .tflite oder .lite) in das assets/-Ordner. Möglicherweise müssen Sie den Ordner zuerst mit der rechten Maustaste auf den Ordner app/ und dann auf Neu > Ordner > Asset-Ordner.
Fügen Sie dann der Datei build.gradle Ihrer App Folgendes hinzu, Gradle komprimiert die Modelldatei beim Erstellen der App nicht:
```
android {
    // ...
    aaptOptions {
        noCompress "tflite"
        // or noCompress "lite"
    }
}
```
Die Modelldatei ist im App-Paket enthalten und für ML Kit verfügbar als Rohinhalt.

Hinweis :Ab Version 4.1 des Android-Gradle-Plug-ins wird .tflite wird standardmäßig der noCompress-Liste hinzugefügt. Die oben genannten werden nicht mehr benötigt.
Erstellen Sie das Objekt LocalModel und geben Sie den Pfad zur Modelldatei an:
Kotlin
```
val localModel = LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build()
```
Java
```
LocalModel localModel =
    new LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build();
```
Hinweis :Apps, die auf Android 11 (API-Level 30) ausgerichtet sind, können nicht mehr auf Dateien von des externen Speichers aufgrund von Speicheraktualisierungen in Android 11.
Hinweis: Wenn Sie ein Modell haben, das mit AutoML Vision Edge in Firebase (nicht Google Cloud), funktioniert die obige Vorgehensweise möglicherweise nicht. Folgen Sie der Migrationsanleitung. .

Von Firebase gehostete Modellquelle konfigurieren

Um das extern gehostete Modell zu verwenden, erstellen Sie ein RemoteModel-Objekt, indem Sie FirebaseModelSource mit dem Namen, den Sie dem Modell bei der veröffentlicht:

Kotlin

// Specify the name you assigned in the Firebase console.
val remoteModel =
    CustomRemoteModel
        .Builder(FirebaseModelSource.Builder("your_model_name").build())
        .build()

Java

// Specify the name you assigned in the Firebase console.
CustomRemoteModel remoteModel =
    new CustomRemoteModel
        .Builder(new FirebaseModelSource.Builder("your_model_name").build())
        .build();

Starten Sie dann den Modelldownload und geben Sie die Bedingungen an, unter denen Sie Downloads zulassen möchten. Wenn das Modell nicht auf dem Gerät installiert ist oder ein neueres Modell Version des Modells verfügbar ist, lädt die Aufgabe asynchron das aus Firebase verwenden:

Kotlin

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

Java

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(@NonNull Task task) {
                // Success.
            }
        });

Viele Apps starten die Download-Aufgabe im Initialisierungscode, aber Sie können jederzeit tun, bevor Sie das Modell verwenden müssen.

Labelersteller für Bilder konfigurieren

Nachdem Sie die Modellquellen konfiguriert haben, erstellen Sie ein ImageLabeler-Objekt aus eine davon.

Folgende Optionen sind verfügbar:

Optionen
`confidenceThreshold`	Minimaler Konfidenzwert erkannter Labels. Wenn nicht festgelegt, alle Der in den Metadaten des Modells angegebene Klassifikator-Schwellenwert wird verwendet. Wenn das Modell keine Metadaten enthält oder die Metadaten keine für den Klassifikator einen Standardgrenzwert von 0, 0 verwendet.
`maxResultCount`	Maximale Anzahl der zurückzugebenden Labels. Wenn nichts festgelegt ist, gilt der Standardwert von 10 werden verwendet.

Wenn Sie nur ein lokal gebündeltes Modell haben, erstellen Sie einfach einen Labelersteller Objekt LocalModel:

Kotlin

val customImageLabelerOptions = CustomImageLabelerOptions.Builder(localModel)
    .setConfidenceThreshold(0.5f)
    .setMaxResultCount(5)
    .build()
val labeler = ImageLabeling.getClient(customImageLabelerOptions)

Java

CustomImageLabelerOptions customImageLabelerOptions =
        new CustomImageLabelerOptions.Builder(localModel)
            .setConfidenceThreshold(0.5f)
            .setMaxResultCount(5)
            .build();
ImageLabeler labeler = ImageLabeling.getClient(customImageLabelerOptions);

Wenn Sie ein extern gehostetes Modell haben, müssen Sie prüfen, die Sie vor der Ausführung heruntergeladen haben. Sie können den Status des Modelldownloads mit der Methode isModelDownloaded() des Modellmanagers.

Sie müssen dies nur vor dem Ausführen des Labelerstellers bestätigen. Wenn Sie ein remote gehostetes und ein lokal gebündeltes Modell haben, Sinn, diese Prüfung bei der Instanziierung des Labelerstellers für Bilder durchzuführen: Labelersteller aus dem Remote-Modell, falls es heruntergeladen wurde, und vom lokalen modellieren.

Kotlin

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener { isDownloaded ->
    val optionsBuilder =
        if (isDownloaded) {
            CustomImageLabelerOptions.Builder(remoteModel)
        } else {
            CustomImageLabelerOptions.Builder(localModel)
        }
    val options = optionsBuilder
                  .setConfidenceThreshold(0.5f)
                  .setMaxResultCount(5)
                  .build()
    val labeler = ImageLabeling.getClient(options)
}

Java

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Boolean isDownloaded) {
                CustomImageLabelerOptions.Builder optionsBuilder;
                if (isDownloaded) {
                    optionsBuilder = new CustomImageLabelerOptions.Builder(remoteModel);
                } else {
                    optionsBuilder = new CustomImageLabelerOptions.Builder(localModel);
                }
                CustomImageLabelerOptions options = optionsBuilder
                    .setConfidenceThreshold(0.5f)
                    .setMaxResultCount(5)
                    .build();
                ImageLabeler labeler = ImageLabeling.getClient(options);
            }
        });

Wenn Sie nur ein remote gehostetes Modell haben, sollten Sie die modellbezogenen wie z. B. das Ausgrauen oder Ausblenden eines Teils der Benutzeroberfläche, bis bestätigen Sie, dass das Modell heruntergeladen wurde. Hängen Sie hierzu einen Listener an. zur download()-Methode des Modellmanagers hinzu:

Kotlin

RemoteModelManager.getInstance().download(remoteModel, conditions)
    .addOnSuccessListener {
        // Download complete. Depending on your app, you could enable the ML
        // feature, or switch from the local model to the remote model, etc.
    }

Java

RemoteModelManager.getInstance().download(remoteModel, conditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Void v) {
              // Download complete. Depending on your app, you could enable
              // the ML feature, or switch from the local model to the remote
              // model, etc.
            }
        });

2. Eingabebild vorbereiten

Erstellen Sie dann für jedes Bild, dem Sie ein Label hinzufügen möchten, ein InputImage-Element. Objekt aus Ihrem Bild. Mit einem Bitmap wird der Labelersteller für das Bild am schnellsten ausgeführt. oder, wenn Sie die camera2 API verwenden, ein YUV_420_888 media.Image, die wenn möglich.

Sie können eine InputImage erstellen aus verschiedenen Quellen stammen. Diese werden im Folgenden erläutert.

Mit einem `media.Image`

So erstellen Sie eine InputImage: media.Image-Objekts erstellen, beispielsweise wenn Sie ein Bild von einem des Geräts an, übergeben Sie das media.Image-Objekt und die Drehung auf InputImage.fromMediaImage().

Wenn Sie das <ph type="x-smartling-placeholder"></ph> CameraX-Bibliothek, den OnImageCapturedListener und ImageAnalysis.Analyzer-Klassen berechnen den Rotationswert für Sie.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Wenn Sie keine Kamerabibliothek verwenden, die Ihnen den Drehungsgrad des Bildes anzeigt, lässt sich anhand des Drehungsgrads des Geräts und der Ausrichtung der Kamera berechnen. Sensor im Gerät:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Übergeben Sie dann das media.Image-Objekt und den Wert für Rotationsgrad auf InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Datei-URI verwenden

So erstellen Sie eine InputImage: aus einem Datei-URI entfernen möchten, übergeben Sie den App-Kontext und den Datei-URI an InputImage.fromFilePath(). Dies ist nützlich, wenn Sie Verwenden Sie den Intent ACTION_GET_CONTENT, um den Nutzer zur Auswahl aufzufordern ein Bild aus ihrer Galerie-App.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

`ByteBuffer` oder `ByteArray` verwenden

So erstellen Sie eine InputImage: aus einem ByteBuffer- oder ByteArray-Objekt zu erstellen, berechnen Sie Drehung wie zuvor für die media.Image-Eingabe beschrieben. Erstellen Sie dann das InputImage-Objekt mit dem Zwischenspeicher oder Array Höhe, Breite, Farbcodierungsformat und Drehungsgrad:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Mit einem `Bitmap`

So erstellen Sie eine InputImage: Bitmap-Objekt zu erstellen, nehmen Sie folgende Deklaration vor:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Das Bild wird durch ein Bitmap-Objekt in Verbindung mit Drehungsgrad dargestellt.

3. Labelersteller für Bilder ausführen

Um Objekte in einem Bild mit einem Label zu versehen, übergeben Sie das image-Objekt an das ImageLabeler- process()-Methode.

Kotlin

labeler.process(image)
        .addOnSuccessListener { labels ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }ImageLabelingActivity.kt

Java

labeler.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
            @Override
            public void onSuccess(List<ImageLabel> labels) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });ImageLabelingActivity.java

</ph> Hinweis: Wenn Sie den CameraX API verwenden, schließen Sie ImageProxy, wenn Sie sie nicht mehr benötigen. z.B. durch Hinzufügen eines OnCompleteListener zum Task, der vom process-Methode. Weitere Informationen finden Sie in der <ph type="x-smartling-placeholder"></ph> VisionProcessorBase in der Kurzanleitung zur Beispielanwendung finden Sie ein Beispiel.

4. Informationen zu Entitäten mit Labels abrufen

Wenn der Vorgang zur Labelerstellung für das Bild erfolgreich ist, wird eine Liste von ImageLabel -Objekte an den Erfolgs-Listener übergeben. Jedes ImageLabel-Objekt repräsentiert etwas, das im Bild mit einem Label versehen wurde. Sie können den Text der einzelnen Labels abrufen, eine Beschreibung (falls in den Metadaten der TensorFlow Lite-Modelldatei verfügbar), Konfidenzwert und Index. Beispiel:

Kotlin

for (label in labels) {
    val text = label.text
    val confidence = label.confidence
    val index = label.index
}ImageLabelingActivity.kt

Java

for (ImageLabel label : labels) {
    String text = label.getText();
    float confidence = label.getConfidence();
    int index = label.getIndex();
}ImageLabelingActivity.java

Tipps zum Verbessern der Leistung in Echtzeit

Wenn Sie Bilder in einer Echtzeitanwendung mit Labels versehen möchten, gehen Sie so vor: um die besten Frame-Rates zu erzielen:

Wenn Sie das Camera oder camera2 API, die Aufrufe an den Labelersteller für das Bild drosseln. Wenn ein neues Video Frame verfügbar wird, während der Bildlabelersteller ausgeführt wird, lassen Sie den Frame weg. Weitere Informationen finden Sie in der <ph type="x-smartling-placeholder"></ph> VisionProcessorBase in der Beispielanwendung „Kurzanleitung“ finden Sie ein Beispiel.
Wenn Sie die CameraX API verwenden, Achten Sie darauf, dass die Rückstaustrategie auf den Standardwert eingestellt ist ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST Dadurch wird garantiert, dass jeweils nur ein Bild zur Analyse geliefert wird. Wenn weitere Bilder wenn der Analysator beschäftigt ist, werden sie automatisch abgebrochen und nicht in die Warteschlange Auslieferung. Sobald das zu analysierende Bild durch Aufrufen ImageProxy.close() wird das nächste Bild geliefert.
Wenn Sie die Ausgabe des Bildlabelerstellers verwenden, um Grafiken Eingabebild, rufen Sie zuerst das Ergebnis aus ML Kit ab und rendern Sie das Bild in einem Schritt übereinanderlegen. Dadurch wird die Anzeigeoberfläche gerendert, für jeden Eingabe-Frame nur einmal. Weitere Informationen finden Sie in der <ph type="x-smartling-placeholder"></ph> CameraSourcePreview und GraphicOverlay-Klassen in der Schnellstart-Beispiel-App als Beispiel.
Wenn Sie die Camera2 API verwenden, nehmen Sie Bilder in ImageFormat.YUV_420_888-Format. Wenn Sie die ältere Camera API verwenden, nehmen Sie Bilder in ImageFormat.NV21-Format.

Bilder mit einem benutzerdefinierten Modell auf Android-Geräten beschriften

Jetzt ausprobieren

Hinweis

1. Modell laden

Lokale Modellquelle konfigurieren

Kotlin

Java

Von Firebase gehostete Modellquelle konfigurieren

Kotlin

Java

Kotlin

Java

Labelersteller für Bilder konfigurieren

Kotlin

Java

Kotlin

Java

Kotlin

Java

2. Eingabebild vorbereiten

Mit einem media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Datei-URI verwenden

Kotlin

Java

ByteBuffer oder ByteArray verwenden

Kotlin

Java

Mit einem Bitmap

Kotlin

Java

3. Labelersteller für Bilder ausführen

Kotlin

Java

4. Informationen zu Entitäten mit Labels abrufen

Kotlin

Java

Tipps zum Verbessern der Leistung in Echtzeit

Mit einem `media.Image`

`ByteBuffer` oder `ByteArray` verwenden

Mit einem `Bitmap`