Mit dem ML Kit können Sie Ihrer App ganz einfach Features zur Themensegmentierung hinzufügen.
Feature | Details |
---|---|
SDK-Name | play-services-mlkit-subject-segmentation |
Implementierung | Nicht gebündelt: Das Modell wird über die Google Play-Dienste dynamisch heruntergeladen. |
Auswirkungen auf die App-Größe | Steigerung um ca. 200 KB. |
Initialisierungszeit | Nutzer müssen möglicherweise warten, bis das Modell heruntergeladen ist, bevor es erstmals verwendet werden kann. |
Ausprobieren
- Probieren Sie die Beispiel-App aus, um ein Beispiel für die Verwendung dieser API zu sehen.
Hinweis
- Fügen Sie in der Datei
build.gradle
auf Projektebene das Maven-Repository von Google in die Abschnittebuildscript
undallprojects
ein. - Fügen Sie der Gradle-Datei Ihres Moduls auf App-Ebene die Abhängigkeit für die ML Kit-Bibliothek für die Themensegmentierung hinzu. Diese ist normalerweise
app/build.gradle
:
dependencies {
implementation 'com.google.android.gms:play-services-mlkit-subject-segmentation:16.0.0-beta1'
}
Wie bereits erwähnt, wird das Modell von den Google Play-Diensten bereitgestellt.
Du kannst deine App so konfigurieren, dass das Modell nach der Installation aus dem Play Store automatisch auf das Gerät heruntergeladen wird. Fügen Sie dazu der Datei AndroidManifest.xml
Ihrer App die folgende Deklaration hinzu:
<application ...>
...
<meta-data
android:name="com.google.mlkit.vision.DEPENDENCIES"
android:value="subject_segment" >
<!-- To use multiple models: android:value="subject_segment,model2,model3" -->
</application>
Mit der ModuleInstallClient API können Sie auch die Modellverfügbarkeit explizit prüfen und einen Download über Google Play-Dienste anfordern.
Wenn Sie Modelldownloads bei der Installation nicht aktivieren oder einen expliziten Download anfordern, wird das Modell bei der ersten Ausführung des Segmentierers heruntergeladen. Anfragen, die Sie vor dem Abschluss des Downloads stellen, generieren keine Ergebnisse.
1. Eingabebild vorbereiten
Um ein Bild zu segmentieren, erstellen Sie ein InputImage
-Objekt aus einem Bitmap
-, media.Image
-, ByteBuffer
-, Byte-Array oder einer Datei auf dem Gerät.
Sie können ein InputImage
-Objekt aus verschiedenen Quellen erstellen. Diese werden unten jeweils erläutert.
Mit einem media.Image
Wenn Sie ein InputImage
-Objekt aus einem media.Image
-Objekt erstellen möchten, z. B. wenn Sie ein Bild mit der Kamera eines Geräts aufnehmen, übergeben Sie das media.Image
-Objekt und die Bilddrehung an InputImage.fromMediaImage()
.
Wenn Sie die
CameraX-Bibliothek verwenden, wird der Rotationswert von den Klassen OnImageCapturedListener
und ImageAnalysis.Analyzer
berechnet.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Wenn Sie keine Kamerabibliothek verwenden, die den Drehgrad des Bildes angibt, können Sie ihn anhand des Gerätedrehungsgrads und der Ausrichtung des Kamerasensors im Gerät berechnen:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Übergeben Sie dann das media.Image
-Objekt und den Wert für den Rotationsgrad an InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Datei-URI verwenden
Übergeben Sie den App-Kontext und den Datei-URI an InputImage.fromFilePath()
, um ein InputImage
-Objekt aus einem Datei-URI zu erstellen. Das ist nützlich, wenn du mit einem ACTION_GET_CONTENT
-Intent den Nutzer auffordern möchtest, ein Bild aus seiner Galerie-App auszuwählen.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Mithilfe von ByteBuffer
oder ByteArray
Zum Erstellen eines InputImage
-Objekts aus einem ByteBuffer
- oder ByteArray
-Objekt müssen Sie zuerst den Grad der Bilddrehung berechnen, wie zuvor für die media.Image
-Eingabe beschrieben.
Erstellen Sie dann das InputImage
-Objekt mit dem Zwischenspeicher oder Array sowie der Höhe, Breite, Farbcodierungsformat und Rotationsgrad des Bildes:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Mit einem Bitmap
Mit der folgenden Deklaration kannst du ein InputImage
-Objekt aus einem Bitmap
-Objekt erstellen:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Das Bild wird durch ein Bitmap
-Objekt zusammen mit Grad der Drehung dargestellt.
2. SubjectSegmenter-Instanz erstellen
Segmentierungsoptionen definieren
Erstellen Sie zum Segmentieren des Bildes zuerst eine Instanz von SubjectSegmenterOptions
:
Kotlin
val options = SubjectSegmenterOptions.Builder() // enable options .build()
Java
SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder() // enable options .build();
Im Folgenden finden Sie die einzelnen Optionen im Detail:
Maske für Konfidenz im Vordergrund
Mit der Konfidenzmaske im Vordergrund können Sie das Vordergrundthema vom Hintergrund unterscheiden.
Wenn Sie enableForegroundConfidenceMask()
in den Optionen aufrufen, können Sie die Vordergrundmaske später abrufen. Dazu rufen Sie getForegroundMask()
für das Objekt SubjectSegmentationResult
auf, das nach der Verarbeitung des Bildes zurückgegeben wurde.
Kotlin
val options = SubjectSegmenterOptions.Builder() .enableForegroundConfidenceMask() .build()
Java
SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder() .enableForegroundConfidenceMask() .build();
Bitmap im Vordergrund
Auf ähnliche Weise können Sie auch eine Bitmap des Motiv im Vordergrund abrufen.
Wenn Sie enableForegroundBitmap()
in den Optionen aufrufen, können Sie die Bitmap im Vordergrund später abrufen, indem Sie getForegroundBitmap()
für das SubjectSegmentationResult
-Objekt aufrufen, das nach der Verarbeitung des Bilds zurückgegeben wird.
Kotlin
val options = SubjectSegmenterOptions.Builder() .enableForegroundBitmap() .build()
Java
SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder() .enableForegroundBitmap() .build();
Konfidenzmaske für mehrere Themen
Wie bei den Optionen im Vordergrund können Sie mit SubjectResultOptions
die Konfidenzmaske für jedes Vordergrundthema aktivieren. Gehen Sie dazu so vor:
Kotlin
val subjectResultOptions = SubjectSegmenterOptions.SubjectResultOptions.Builder() .enableConfidenceMask() .build() val options = SubjectSegmenterOptions.Builder() .enableMultipleSubjects(subjectResultOptions) .build()
Java
SubjectResultOptions subjectResultOptions = new SubjectSegmenterOptions.SubjectResultOptions.Builder() .enableConfidenceMask() .build() SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder() .enableMultipleSubjects(subjectResultOptions) .build()
Bitmap mit mehreren Themen
Auf ähnliche Weise können Sie die Bitmap für jedes Thema aktivieren:
Kotlin
val subjectResultOptions = SubjectSegmenterOptions.SubjectResultOptions.Builder() .enableSubjectBitmap() .build() val options = SubjectSegmenterOptions.Builder() .enableMultipleSubjects(subjectResultOptions) .build()
Java
SubjectResultOptions subjectResultOptions = new SubjectSegmenterOptions.SubjectResultOptions.Builder() .enableSubjectBitmap() .build() SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder() .enableMultipleSubjects(subjectResultOptions) .build()
Themensegmentierung erstellen
Nachdem Sie die Optionen für SubjectSegmenterOptions
angegeben haben, erstellen Sie eine SubjectSegmenter
-Instanz, die getClient()
aufruft und die Optionen als Parameter übergibt:
Kotlin
val segmenter = SubjectSegmentation.getClient(options)
Java
SubjectSegmenter segmenter = SubjectSegmentation.getClient(options);
3. Bild verarbeiten
Übergeben Sie das vorbereitete Objekt InputImage
an die Methode process
der SubjectSegmenter
:
Kotlin
segmenter.process(inputImage) .addOnSuccessListener { result -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
segmenter.process(inputImage) .addOnSuccessListener(new OnSuccessListener() { @Override public void onSuccess(SubjectSegmentationResult result) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. Ergebnis der Themensegmentierung abrufen
Vordergrundmasken und Bitmaps abrufen
Nach der Verarbeitung können Sie die Vordergrundmaske für Ihr Bild abrufen, indem Sie getForegroundConfidenceMask()
so aufrufen:
Kotlin
val colors = IntArray(image.width * image.height) val foregroundMask = result.foregroundConfidenceMask for (i in 0 until image.width * image.height) { if (foregroundMask[i] > 0.5f) { colors[i] = Color.argb(128, 255, 0, 255) } } val bitmapMask = Bitmap.createBitmap( colors, image.width, image.height, Bitmap.Config.ARGB_8888 )
Java
int[] colors = new int[image.getWidth() * image.getHeight()]; FloatBuffer foregroundMask = result.getForegroundConfidenceMask(); for (int i = 0; i < image.getWidth() * image.getHeight(); i++) { if (foregroundMask.get() > 0.5f) { colors[i] = Color.argb(128, 255, 0, 255); } } Bitmap bitmapMask = Bitmap.createBitmap( colors, image.getWidth(), image.getHeight(), Bitmap.Config.ARGB_8888 );
Du kannst auch eine Bitmap des Vordergrunds des Bildes abrufen, in dem getForegroundBitmap()
aufgerufen wird:
Kotlin
val foregroundBitmap = result.foregroundBitmap
Java
Bitmap foregroundBitmap = result.getForegroundBitmap();
Masken und Bitmaps für jedes Thema abrufen
Auf ähnliche Weise können Sie die Maske für die segmentierten Subjekte abrufen, indem Sie getConfidenceMask()
für jedes Subjekt so aufrufen:
Kotlin
val subjects = result.subjects val colors = IntArray(image.width * image.height) for (subject in subjects) { val mask = subject.confidenceMask for (i in 0 until subject.width * subject.height) { val confidence = mask[i] if (confidence > 0.5f) { colors[image.width * (subject.startY - 1) + subject.startX] = Color.argb(128, 255, 0, 255) } } } val bitmapMask = Bitmap.createBitmap( colors, image.width, image.height, Bitmap.Config.ARGB_8888 )
Java
Listsubjects = result.getSubjects(); int[] colors = new int[image.getWidth() * image.getHeight()]; for (Subject subject : subjects) { FloatBuffer mask = subject.getConfidenceMask(); for (int i = 0; i < subject.getWidth() * subject.getHeight(); i++) { float confidence = mask.get(); if (confidence > 0.5f) { colors[width * (subject.getStartY() - 1) + subject.getStartX()] = Color.argb(128, 255, 0, 255); } } } Bitmap bitmapMask = Bitmap.createBitmap( colors, image.width, image.height, Bitmap.Config.ARGB_8888 );
Sie können auch so auf die Bitmap der einzelnen segmentierten Themen zugreifen:
Kotlin
val bitmaps = mutableListOf() for (subject in subjects) { bitmaps.add(subject.bitmap) }
Java
Listbitmaps = new ArrayList<>(); for (Subject subject : subjects) { bitmaps.add(subject.getBitmap()); }
Tipps zur Leistungsverbesserung
Bei jeder Anwendungssitzung ist die erste Inferenz aufgrund der Modellinitialisierung oft langsamer als nachfolgende Inferenzen. Wenn niedrige Latenzzeiten wichtig sind, sollten Sie gegebenenfalls im Voraus eine sogenannte Dummy-Inferenz aufrufen.
Die Qualität der Ergebnisse hängt von der Qualität des Eingabebilds ab:
- Damit ML Kit ein genaues Segmentierungsergebnis erhält, sollte das Bild mindestens 512 × 512 Pixel groß sein.
- Ein schlechter Bildfokus kann sich auch auf die Genauigkeit auswirken. Sollten Sie keine akzeptablen Ergebnisse erhalten, bitten Sie den Nutzer, das Bild neu aufzunehmen.