Bu sayfa, Cloud Translation API ile çevrilmiştir.

Android'de ML Kit ile selfie segmentasyonu

ML Kit, selfie segmentasyonu için optimize edilmiş bir SDK sağlar.

Selfie Segmenter öğeleri, derleme sırasında uygulamanıza statik olarak bağlanır. Bu işlem, uygulamanızın indirme boyutunu yaklaşık 4,5 MB artırır ve API gecikmesi, Pixel 4'te ölçülen giriş resim boyutuna bağlı olarak 25 ms ile 65 ms arasında değişebilir.

Deneyin

Bu API'nin örnek kullanımını görmek için örnek uygulamayı inceleyin.

Başlamadan önce

Bu API için Android API düzeyi 21 veya üzeri gerekir. Uygulamanızın derleme dosyasında minSdkVersion değerinin 21 veya daha yüksek olduğundan emin olun.

Proje düzeyindeki build.gradle dosyanızda, Google'ın Maven deposunu hem buildscript hem de allprojects bölümlerinize eklediğinizden emin olun.
ML Kit Android kitaplıklarının bağımlılıkları, modülünüzün uygulama düzeyindeki Gradle dosyasına (genellikle app/build.gradle) eklenmelidir:

dependencies {
  implementation 'com.google.mlkit:segmentation-selfie:16.0.0-beta6'
}

1. Segmenter örneği oluşturma

Segmentör seçenekleri

Bir resimde segmentasyon yapmak için öncelikle aşağıdaki seçenekleri belirterek bir Segmenter örneği oluşturun.

Algılayıcı modu

Segmenter iki modda çalışır. Kullanım alanınıza uygun olanı seçtiğinizden emin olun.

STREAM_MODE (default)

Bu mod, video veya kameradan kare aktarmak için tasarlanmıştır. Bu modda segmenter, daha düzgün segmentasyon sonuçları döndürmek için önceki karelerdeki sonuçlardan yararlanır.

SINGLE_IMAGE_MODE

Bu mod, birbiriyle alakalı olmayan tek resimler için tasarlanmıştır. Bu modda segmenter, kareler üzerinde yumuşatma yapmadan her bir görüntüyü bağımsız olarak işler.

Ham boyut maskesini etkinleştirin

Segmentörden, model çıkış boyutuyla eşleşen ham boyut maskesini döndürmesini ister.

Ham maske boyutu (ör. 256x256) genellikle giriş resim boyutundan daha küçüktür. Bu seçeneği etkinleştirirken maske boyutunu öğrenmek için lütfen SegmentationMask#getWidth() ve SegmentationMask#getHeight() numaralı telefonları arayın.

Bu seçenek belirtilmeden segmenter, ham maskeyi giriş resmi boyutuna uyacak şekilde yeniden ölçeklendirir. Özelleştirilmiş yeniden ölçeklendirme mantığı uygulamak istiyorsanız veya kullanım alanınız için yeniden ölçeklendirme gerekmiyorsa bu seçeneği kullanabilirsiniz.

Segmentör seçeneklerini belirtin:

KotlinJava

val options =
        SelfieSegmenterOptions.Builder()
            .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
            .enableRawSizeMask()
            .build()

SelfieSegmenterOptions options =
        new SelfieSegmenterOptions.Builder()
            .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
            .enableRawSizeMask()
            .build();

Segmenter örneği oluşturun. Belirttiğiniz seçenekleri iletin:

KotlinJava

val segmenter = Segmentation.getClient(options)

Segmenter segmenter = Segmentation.getClient(options);

2. Giriş resmini hazırlama

Bir resimde segmentasyon yapmak için cihazdaki bir Bitmap, media.Image, ByteBuffer, bayt dizisi veya dosyadan InputImage nesnesi oluşturun.

Farklı kaynaklardan InputImage nesnesi oluşturabilirsiniz. Bunların her biri aşağıda açıklanmıştır.

`media.Image` kullanma

Bir media.Image nesnesinden InputImage nesnesi oluşturmak için (ör. bir cihazın kamerasından resim çekerken) media.Image nesnesini ve resmin dönme açısını InputImage.fromMediaImage()'e iletin.

CameraX kitaplığını kullanıyorsanız OnImageCapturedListener ve ImageAnalysis.Analyzer sınıfları rotasyon değerini sizin için hesaplar.

KotlinJava

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Resmin dönme derecesini gösteren bir kamera kitaplığı kullanmıyorsanız bunu cihazın dönme derecesinden ve cihazdaki kamera sensörünün yöneliminden hesaplayabilirsiniz:

KotlinJava

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Ardından, media.Image nesnesini ve dönüş derecesi değerini InputImage.fromMediaImage()'e iletin:

KotlinJava

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Dosya URI'si kullanma

Dosya URI'sinden InputImage nesnesi oluşturmak için uygulama bağlamını ve dosya URI'sini InputImage.fromFilePath()'a iletin. Bu, kullanıcıdan galeri uygulamasından bir resim seçmesini istemek için ACTION_GET_CONTENT intent'i kullandığınızda kullanışlıdır.

KotlinJava

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

`ByteBuffer` veya `ByteArray` kullanma

ByteBuffer veya ByteArray öğesinden InputImage nesnesi oluşturmak için önce media.Image girişi için daha önce açıklandığı gibi görüntünün döndürme derecesini hesaplayın. Ardından, resmin yüksekliği, genişliği, renk kodlama biçimi ve döndürme derecesiyle birlikte arabelleği veya diziyi kullanarak InputImage nesnesini oluşturun:

KotlinJava

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

`Bitmap` kullanma

Bitmap nesnesinden InputImage nesnesi oluşturmak için aşağıdaki beyanı yapın:

KotlinJava

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Resim, döndürme dereceleriyle birlikte bir Bitmap nesnesi ile temsil edilir.

3. Resmi işleme

Hazırlanan InputImage nesnesini Segmenter'un process yöntemine iletin.

KotlinJava

Task<SegmentationMask> result = segmenter.process(image)
       .addOnSuccessListener { results ->
           // Task completed successfully
           // ...
       }
       .addOnFailureListener { e ->
           // Task failed with an exception
           // ...
       }

Task<SegmentationMask> result =
        segmenter.process(image)
                .addOnSuccessListener(
                        new OnSuccessListener<SegmentationMask>() {
                            @Override
                            public void onSuccess(SegmentationMask mask) {
                                // Task completed successfully
                                // ...
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });

Not: CameraX API'yi kullanıyorsanız kullanmayı bitirdiğinizde ImageProxy'i kapattığınızdan emin olun (ör. process yönteminden döndürülen Task'e bir OnCompleteListener ekleyerek). Örnek için hızlı başlangıç kılavuzundaki VisionProcessorBase sınıfına bakın.

4. Segmentasyon sonucunu alma

Segmentasyon sonucunu aşağıdaki şekilde alabilirsiniz:

KotlinJava

val mask = segmentationMask.getBuffer()
val maskWidth = segmentationMask.getWidth()
val maskHeight = segmentationMask.getHeight()

for (val y = 0; y < maskHeight; y++) {
  for (val x = 0; x < maskWidth; x++) {
    // Gets the confidence of the (x,y) pixel in the mask being in the foreground.
    val foregroundConfidence = mask.getFloat()
  }
}

ByteBuffer mask = segmentationMask.getBuffer();
int maskWidth = segmentationMask.getWidth();
int maskHeight = segmentationMask.getHeight();

for (int y = 0; y < maskHeight; y++) {
  for (int x = 0; x < maskWidth; x++) {
    // Gets the confidence of the (x,y) pixel in the mask being in the foreground.
    float foregroundConfidence = mask.getFloat();
  }
}

Segmentasyon sonuçlarının nasıl kullanılacağına dair tam bir örnek için lütfen ML Kit hızlı başlangıç örneğine bakın.

Performansı iyileştirmeye yönelik ipuçları

Sonuçlarınızın kalitesi, giriş resminin kalitesine bağlıdır:

ML Kit'in doğru bir segmentasyon sonucu elde edebilmesi için resmin en az 256x256 piksel olması gerekir.
Resmin odaklanmaması da doğruluğu etkileyebilir. Kabul edilebilir sonuçlar alamazsanız kullanıcıdan resmi yeniden çekmesini isteyin.

Segmentasyonu gerçek zamanlı bir uygulamada kullanmak istiyorsanız en iyi kare hızlarını elde etmek için aşağıdaki yönergeleri uygulayın:

STREAM_MODE hesabını kullan.
Resimleri daha düşük çözünürlükte çekmeyi deneyin. Ancak bu API'nin resim boyutu koşullarını da göz önünde bulundurun.
Ham boyut maskesi seçeneğini etkinleştirip tüm yeniden ölçeklendirme mantığını birlikte kullanabilirsiniz. Örneğin, API'nin maskeyi önce giriş resim boyutunuza uyacak şekilde yeniden ölçeklendirmesine ve ardından görüntüleme için Görüntü boyutuna uyacak şekilde tekrar ölçeklendirmenize izin vermek yerine, ham boyut maskesini isteyin ve bu iki adımı tek bir adımda birleştirin.
Camera veya camera2 API'sini kullanıyorsanız algılayıcıya yapılan çağrıları sınırlayın. Algılayıcı çalışırken yeni bir video karesi kullanılabilir hale gelirse kareyi bırakın. Örnek için hızlı başlangıç kılavuzu örnek uygulamasındaki VisionProcessorBase sınıfına bakın.
CameraX API'sini kullanıyorsanız geri basınç stratejisinin varsayılan değerine ayarlandığından emin olun ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Bu sayede, aynı anda analiz için yalnızca bir resim gönderilir. Analizör meşgulken daha fazla görüntü oluşturulursa bu görüntüler otomatik olarak bırakılır ve yayınlama için sıraya alınmaz. Analiz edilen resim, ImageProxy.close() çağrısı yapılarak kapatıldıktan sonra bir sonraki en yeni resim yayınlanır.
Giriş resmine grafik yerleştirmek için algılayıcının çıkışını kullanıyorsanız önce ML Kit'ten sonucu alın, ardından resmi ve yer paylaşımını tek bir adımda oluşturun. Bu, her giriş karesi için ekran yüzeyinde yalnızca bir kez oluşturulur. Örnek olarak, hızlı başlangıç kılavuzundaki örnek uygulamadaki CameraSourcePreview ve GraphicOverlay sınıflarına bakın.
Camera2 API'yi kullanıyorsanız resimleri ImageFormat.YUV_420_888 biçiminde kaydedin. Eski Camera API'yi kullanıyorsanız resimleri ImageFormat.NV21 biçiminde çekin.

Android'de ML Kit ile selfie segmentasyonu

Deneyin

Başlamadan önce

1. Segmenter örneği oluşturma

Segmentör seçenekleri

Algılayıcı modu

Ham boyut maskesini etkinleştirin

2. Giriş resmini hazırlama

media.Image kullanma

Dosya URI'si kullanma

ByteBuffer veya ByteArray kullanma

Bitmap kullanma

3. Resmi işleme

4. Segmentasyon sonucunu alma

Performansı iyileştirmeye yönelik ipuçları

`media.Image` kullanma

`ByteBuffer` veya `ByteArray` kullanma

`Bitmap` kullanma