Wenn Sie ein Bild an ML Kit übergeben, werden bis zu fünf Objekte im Bild erkannt sowie die Position jedes Objekts im Bild. Bei der Erkennung von Objekten Video-Streams hat jedes Objekt eine eindeutige ID, mit der Sie das Objekt von Frame zu Frame.
Sie können ein benutzerdefiniertes Bildklassifizierungsmodell verwenden, um Objekte zu klassifizieren, erkannt. Weitere Informationen finden Sie unter Benutzerdefinierte Modelle mit ML Kit für zu den Anforderungen an die Modellkompatibilität, wo Sie vortrainierte Modelle finden, und wie Sie eigene Modelle trainieren.
Es gibt zwei Möglichkeiten, ein benutzerdefiniertes Modell zu integrieren. Sie können das Modell nach in den Asset-Ordner Ihrer App verschieben oder dynamisch herunterladen, von Firebase. In der folgenden Tabelle werden die beiden Optionen verglichen.
Gebündeltes Modell | Gehostetes Modell |
---|---|
Das Modell ist Teil des APK Ihrer App, wodurch die Größe erhöht wird. | Das Modell ist nicht Teil Ihres APK. Sie wird gehostet, indem Firebase Machine Learning. |
Das Modell ist sofort verfügbar, auch wenn das Android-Gerät offline ist | Das Modell wird on demand heruntergeladen |
Kein Firebase-Projekt erforderlich | Firebase-Projekt erforderlich |
Du musst deine App noch einmal veröffentlichen, um das Modell zu aktualisieren | Modellaktualisierungen senden, ohne die App neu zu veröffentlichen |
Keine integrierten A/B-Tests | Einfache A/B-Tests mit Firebase Remote Config |
Jetzt ausprobieren
- Kurzanleitung zur Vision finden Sie ein Anwendungsbeispiel für das gebündelte Modell und den automl-Schnellstartanwendung für eine Verwendungsbeispiel für das gehostete Modell.
- Sehen Sie sich den Schaufenster Material Design an: App für eine End-to-End-Implementierung dieser API.
Hinweis
In der Datei
build.gradle
auf Projektebene muss Folgendes angegeben werden: Das Maven-Repository von Google sowohl inbuildscript
als auchallprojects
Bereiche.Fügen Sie die Abhängigkeiten für die ML Kit-Android-Bibliotheken Ihres Moduls Gradle-Datei auf App-Ebene, in der Regel
app/build.gradle
:So bündeln Sie ein Modell mit Ihrer App:
dependencies { // ... // Object detection & tracking feature with custom bundled model implementation 'com.google.mlkit:object-detection-custom:17.0.2' }
Fügen Sie zum dynamischen Herunterladen eines Modells aus Firebase den
linkFirebase
hinzu. Abhängigkeit:dependencies { // ... // Object detection & tracking feature with model downloaded // from firebase implementation 'com.google.mlkit:object-detection-custom:17.0.2' implementation 'com.google.mlkit:linkfirebase:17.0.0' }
Wenn Sie ein Modell herunterladen möchten, müssen Sie Firebase zu Ihrem Android-Projekt hinzufügen, falls noch nicht geschehen. Dies ist nicht erforderlich, wenn Sie das Modell als Paket anbieten.
1. Modell laden
Lokale Modellquelle konfigurieren
So bündeln Sie das Modell mit Ihrer App:
Kopieren Sie die Modelldatei (in der Regel mit der Endung
.tflite
oder.lite
) in dasassets/
-Ordner. Möglicherweise müssen Sie den Ordner zuerst mit der rechten Maustaste auf den Ordnerapp/
und dann auf Neu > Ordner > Asset-Ordner.Fügen Sie dann der Datei
build.gradle
Ihrer App Folgendes hinzu, Gradle komprimiert die Modelldatei beim Erstellen der App nicht:android { // ... aaptOptions { noCompress "tflite" // or noCompress "lite" } }
Die Modelldatei ist im App-Paket enthalten und für ML Kit verfügbar als Rohinhalt.
Erstellen Sie das Objekt
LocalModel
und geben Sie den Pfad zur Modelldatei an:Kotlin
val localModel = LocalModel.Builder() .setAssetFilePath("model.tflite") // or .setAbsoluteFilePath(absolute file path to model file) // or .setUri(URI to model file) .build()
Java
LocalModel localModel = new LocalModel.Builder() .setAssetFilePath("model.tflite") // or .setAbsoluteFilePath(absolute file path to model file) // or .setUri(URI to model file) .build();
Von Firebase gehostete Modellquelle konfigurieren
Um das extern gehostete Modell zu verwenden, erstellen Sie ein CustomRemoteModel
-Objekt, indem Sie
FirebaseModelSource
mit dem Namen, den Sie dem Modell bei der
veröffentlicht:
Kotlin
// Specify the name you assigned in the Firebase console. val remoteModel = CustomRemoteModel .Builder(FirebaseModelSource.Builder("your_model_name").build()) .build()
Java
// Specify the name you assigned in the Firebase console. CustomRemoteModel remoteModel = new CustomRemoteModel .Builder(new FirebaseModelSource.Builder("your_model_name").build()) .build();
Starten Sie dann den Modelldownload und geben Sie die Bedingungen an, unter denen Sie Downloads zulassen möchten. Wenn das Modell nicht auf dem Gerät installiert ist oder ein neueres Modell Version des Modells verfügbar ist, lädt die Aufgabe asynchron das aus Firebase verwenden:
Kotlin
val downloadConditions = DownloadConditions.Builder() .requireWifi() .build() RemoteModelManager.getInstance().download(remoteModel, downloadConditions) .addOnSuccessListener { // Success. }
Java
DownloadConditions downloadConditions = new DownloadConditions.Builder() .requireWifi() .build(); RemoteModelManager.getInstance().download(remoteModel, downloadConditions) .addOnSuccessListener(new OnSuccessListener() { @Override public void onSuccess(@NonNull Task task) { // Success. } });
Viele Apps starten die Download-Aufgabe im Initialisierungscode, aber Sie können jederzeit tun, bevor Sie das Modell verwenden müssen.
2. Objektdetektor konfigurieren
Nachdem Sie die Modellquellen konfiguriert haben, konfigurieren Sie den Objektdetektor für Ihr
Anwendungsfall mit einem CustomObjectDetectorOptions
-Objekt. Sie können die
folgenden Einstellungen:
Einstellungen für Objektdetektoren | |
---|---|
Erkennungsmodus |
STREAM_MODE (Standard) | SINGLE_IMAGE_MODE
In In |
Mehrere Objekte erkennen und verfolgen |
false (Standard) | true
Erkennung und Verfolgung von bis zu fünf Objekten oder nur den auffälliges Objekt (Standardeinstellung). |
Objekte klassifizieren |
false (Standard) | true
Gibt an, ob erkannte Objekte mithilfe der bereitgestellten
ein benutzerdefiniertes Klassifikatormodell. So verwenden Sie Ihre benutzerdefinierte Klassifizierung:
müssen Sie dies auf |
Klassifizierungskonfidenzgrenzwert |
Minimaler Konfidenzwert erkannter Labels. Wenn nicht festgelegt, alle Der in den Metadaten des Modells angegebene Klassifikator-Schwellenwert wird verwendet. Wenn das Modell keine Metadaten enthält oder die Metadaten keine für den Klassifikator einen Standardgrenzwert von 0, 0 verwendet. |
Maximale Anzahl von Labels pro Objekt |
Maximale Anzahl von Labels pro Objekt, die der Detektor verwenden soll zurückgeben. Wenn die Richtlinie nicht konfiguriert ist, wird der Standardwert 10 verwendet. |
Die Objekterkennungs- und -verfolgungs-API ist für diese beiden Hauptzwecke optimiert. Cases:
- Live-Erkennung und Verfolgung des auffälligsten Objekts in der Kamera Sucher.
- Erkennung mehrerer Objekte in einem statischen Bild.
So konfigurieren Sie die API für diese Anwendungsfälle mit einem lokal gebündelten Modell:
Kotlin
// Live detection and tracking val customObjectDetectorOptions = CustomObjectDetectorOptions.Builder(localModel) .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE) .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build() // Multiple object detection in static images val customObjectDetectorOptions = CustomObjectDetectorOptions.Builder(localModel) .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build() val objectDetector = ObjectDetection.getClient(customObjectDetectorOptions)
Java
// Live detection and tracking CustomObjectDetectorOptions customObjectDetectorOptions = new CustomObjectDetectorOptions.Builder(localModel) .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE) .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build(); // Multiple object detection in static images CustomObjectDetectorOptions customObjectDetectorOptions = new CustomObjectDetectorOptions.Builder(localModel) .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build(); ObjectDetector objectDetector = ObjectDetection.getClient(customObjectDetectorOptions);
Wenn Sie ein extern gehostetes Modell haben, müssen Sie prüfen,
die Sie vor der Ausführung heruntergeladen haben. Sie können den Status des Modelldownloads
mit der Methode isModelDownloaded()
des Modellmanagers.
Sie müssen dies zwar nur vor dem Ausführen des Detektors bestätigen, aber wenn Sie ein remote gehostetes und ein lokal gebündeltes Modell haben, sinnvoll, diese Prüfung beim Instanziieren des Bilddetektors auszuführen: Erstellen Sie vom Remote-Modell, falls es heruntergeladen wurde, und vom lokalen modellieren.
Kotlin
RemoteModelManager.getInstance().isModelDownloaded(remoteModel) .addOnSuccessListener { isDownloaded -> val optionsBuilder = if (isDownloaded) { CustomObjectDetectorOptions.Builder(remoteModel) } else { CustomObjectDetectorOptions.Builder(localModel) } val customObjectDetectorOptions = optionsBuilder .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build() val objectDetector = ObjectDetection.getClient(customObjectDetectorOptions) }
Java
RemoteModelManager.getInstance().isModelDownloaded(remoteModel) .addOnSuccessListener(new OnSuccessListener() { @Override public void onSuccess(Boolean isDownloaded) { CustomObjectDetectorOptions.Builder optionsBuilder; if (isDownloaded) { optionsBuilder = new CustomObjectDetectorOptions.Builder(remoteModel); } else { optionsBuilder = new CustomObjectDetectorOptions.Builder(localModel); } CustomObjectDetectorOptions customObjectDetectorOptions = optionsBuilder .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableClassification() .setClassificationConfidenceThreshold(0.5f) .setMaxPerObjectLabelCount(3) .build(); ObjectDetector objectDetector = ObjectDetection.getClient(customObjectDetectorOptions); } });
Wenn Sie nur ein remote gehostetes Modell haben, sollten Sie die modellbezogenen
wie z. B. das Ausgrauen oder Ausblenden eines Teils der Benutzeroberfläche, bis
bestätigen Sie, dass das Modell heruntergeladen wurde. Hängen Sie hierzu einen Listener an.
zur download()
-Methode des Modellmanagers hinzu:
Kotlin
RemoteModelManager.getInstance().download(remoteModel, conditions) .addOnSuccessListener { // Download complete. Depending on your app, you could enable the ML // feature, or switch from the local model to the remote model, etc. }
Java
RemoteModelManager.getInstance().download(remoteModel, conditions) .addOnSuccessListener(new OnSuccessListener() { @Override public void onSuccess(Void v) { // Download complete. Depending on your app, you could enable // the ML feature, or switch from the local model to the remote // model, etc. } });
3. Eingabebild vorbereiten
Erstellen Sie einInputImage
-Objekt aus Ihrem Bild.
Die Objekterkennung wird direkt von einem Bitmap
-, NV21-ByteBuffer
- oder einem
YUV_420_888 media.Image
. Das Erstellen einer InputImage
aus diesen Quellen
empfohlen, wenn Sie direkten Zugriff auf eine von ihnen haben. Wenn Sie eine
InputImage
aus anderen Quellen verwenden, wickeln wir die Konvertierung intern ab für
und es könnte weniger effizient sein.
Sie können eine InputImage
erstellen
aus verschiedenen Quellen stammen. Diese werden im Folgenden erläutert.
Mit einem media.Image
So erstellen Sie eine InputImage
:
media.Image
-Objekts erstellen, beispielsweise wenn Sie ein Bild von einem
des Geräts an, übergeben Sie das media.Image
-Objekt und die
Drehung auf InputImage.fromMediaImage()
.
Wenn Sie das
<ph type="x-smartling-placeholder"></ph>
CameraX-Bibliothek, den OnImageCapturedListener
und
ImageAnalysis.Analyzer
-Klassen berechnen den Rotationswert
für Sie.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Wenn Sie keine Kamerabibliothek verwenden, die Ihnen den Drehungsgrad des Bildes anzeigt, lässt sich anhand des Drehungsgrads des Geräts und der Ausrichtung der Kamera berechnen. Sensor im Gerät:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Übergeben Sie dann das media.Image
-Objekt und den
Wert für Rotationsgrad auf InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Datei-URI verwenden
So erstellen Sie eine InputImage
:
aus einem Datei-URI entfernen möchten, übergeben Sie den App-Kontext und den Datei-URI an
InputImage.fromFilePath()
. Dies ist nützlich, wenn Sie
Verwenden Sie den Intent ACTION_GET_CONTENT
, um den Nutzer zur Auswahl aufzufordern
ein Bild aus ihrer Galerie-App.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
ByteBuffer
oder ByteArray
verwenden
So erstellen Sie eine InputImage
:
aus einem ByteBuffer
- oder ByteArray
-Objekt zu erstellen, berechnen Sie
Drehung wie zuvor für die media.Image
-Eingabe beschrieben.
Erstellen Sie dann das InputImage
-Objekt mit dem Zwischenspeicher oder Array
Höhe, Breite, Farbcodierungsformat und Drehungsgrad:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Mit einem Bitmap
So erstellen Sie eine InputImage
:
Bitmap
-Objekt zu erstellen, nehmen Sie folgende Deklaration vor:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Das Bild wird durch ein Bitmap
-Objekt in Verbindung mit Drehungsgrad dargestellt.
4. Objektdetektor ausführen
Kotlin
objectDetector .process(image) .addOnFailureListener(e -> {...}) .addOnSuccessListener(results -> { for (detectedObject in results) { // ... } });
Java
objectDetector .process(image) .addOnFailureListener(e -> {...}) .addOnSuccessListener(results -> { for (DetectedObject detectedObject : results) { // ... } });
5. Informationen zu Objekten mit Label abrufen
Wenn der Aufruf von process()
erfolgreich ist, wird eine Liste von DetectedObject
s an
die Zuhörer zu präsentieren.
Jedes DetectedObject
enthält die folgenden Attribute:
Begrenzungsrahmen | Ein Rect , der die Position des Objekts im
Bild. |
||||||
Tracking-ID | Eine Ganzzahl, die das Objekt in Bildern identifiziert. Null in SINGLE_IMAGE_MODE | ||||||
Labels |
|
Kotlin
// The list of detected objects contains one item if multiple // object detection wasn't enabled. for (detectedObject in results) { val boundingBox = detectedObject.boundingBox val trackingId = detectedObject.trackingId for (label in detectedObject.labels) { val text = label.text val index = label.index val confidence = label.confidence } }
Java
// The list of detected objects contains one item if multiple // object detection wasn't enabled. for (DetectedObject detectedObject : results) { Rect boundingBox = detectedObject.getBoundingBox(); Integer trackingId = detectedObject.getTrackingId(); for (Label label : detectedObject.getLabels()) { String text = label.getText(); int index = label.getIndex(); float confidence = label.getConfidence(); } }
Für eine hervorragende Nutzererfahrung sorgen
Beachten Sie für eine optimale Nutzererfahrung in Ihrer App die folgenden Richtlinien:
- Die erfolgreiche Objekterkennung hängt von der visuellen Komplexität des Objekts ab. In müssen Objekte mit einer geringen Anzahl visueller Merkmale einen größeren Teil des Bildes einnehmen. Sie sollten Nutzenden dabei helfen, Eingabedaten erfassen, die für die Art von Objekten, die Sie erkennen möchten, gut funktionieren.
- Wenn Sie bei der Klassifizierung Objekte erkennen möchten, die nicht fallen in die unterstützten Kategorien einzuordnen, spezielle Behandlungen für unbekannte Objekte.
Sehen Sie sich auch die ML Kit Material Design Showcase-App und die Material Design Sammlung Muster für durch maschinelles Lernen unterstützte Funktionen.
Leistungsoptimierung
Wenn Sie die Objekterkennung in einer Echtzeitanwendung verwenden möchten, gehen Sie so vor: um optimale Framerates zu erzielen:Wenn Sie den Streamingmodus in einer Echtzeitanwendung nutzen, sollten Sie nicht mehrere Objekterkennung zu erkennen, da die meisten Geräte keine angemessenen Framerates liefern können.
- Wenn Sie das
Camera
odercamera2
API, drosselt Aufrufe an den Detektor. Wenn ein neues Video wenn der Detektor ausgeführt wird, lassen Sie den Frame weg. Weitere Informationen finden Sie in der <ph type="x-smartling-placeholder"></ph>VisionProcessorBase
in der Kurzanleitung für die Beispielanwendung finden Sie ein Beispiel. - Wenn Sie die
CameraX
API verwenden, Achten Sie darauf, dass die Rückstaustrategie auf den Standardwert eingestellt ist <ph type="x-smartling-placeholder"></ph>ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
Dadurch wird garantiert, dass jeweils nur ein Bild zur Analyse geliefert wird. Wenn weitere Bilder wenn der Analysator beschäftigt ist, werden sie automatisch abgebrochen und nicht in die Warteschlange Auslieferung. Sobald das zu analysierende Bild durch Aufrufen ImageProxy.close() wird das nächste Bild geliefert. - Wenn Sie die Ausgabe des Detektors verwenden, um Grafiken
Eingabebild, rufen Sie zuerst das Ergebnis aus ML Kit ab und rendern Sie das Bild
in einem Schritt übereinanderlegen. Dadurch wird die Anzeigeoberfläche gerendert,
für jeden Eingabe-Frame nur einmal. Weitere Informationen finden Sie in der
<ph type="x-smartling-placeholder"></ph>
CameraSourcePreview
und <ph type="x-smartling-placeholder"></ph>GraphicOverlay
-Klassen in der Schnellstart-Beispiel-App als Beispiel. - Wenn Sie die Camera2 API verwenden, nehmen Sie Bilder in
ImageFormat.YUV_420_888
-Format. Wenn Sie die ältere Camera API verwenden, nehmen Sie Bilder inImageFormat.NV21
-Format.