Halaman ini diterjemahkan oleh Cloud Translation API.

Memberikan label pada gambar dengan model yang dilatih AutoML di Android

Setelah Anda melatih model sendiri menggunakan AutoML Vision Edge, Anda dapat menggunakannya di aplikasi untuk memberi label pada gambar. Ada dua cara untuk mengintegrasikan model yang dilatih dari AutoML Vision Edge: Anda dapat memaketkan model dengan memasukkannya ke dalam folder aset aplikasi, atau mendownloadnya secara dinamis dari Firebase.

Opsi pemaketan model
Dipaketkan dalam aplikasi Anda	Model merupakan bagian dari APK aplikasi Model akan langsung tersedia, bahkan saat perangkat Android sedang offline Tidak memerlukan project Firebase
Dihosting dengan Firebase	Hosting model dengan menguploadnya ke Machine Learning Firebase Mengurangi ukuran APK Model didownload sesuai permintaan Update model dapat dikirim tanpa memublikasikan ulang aplikasi Pengujian A/B yang mudah dengan Firebase Remote Config Memerlukan project Firebase

Cobalah

Coba aplikasi contoh untuk melihat contoh penggunaan API ini.

Sebelum memulai

1. Dalam file build.gradle level project, pastikan Anda menyertakan repositori Maven Google di bagian buildscript dan allprojects.

2. Tambahkan dependensi untuk library Android ML Kit ke modul Anda gradle level aplikasi, yang biasanya adalah app/build.gradle: Untuk memaketkan model dengan aplikasi Anda:

    dependencies {
      // ...
      // Image labeling feature with bundled automl model
      implementation 'com.google.mlkit:image-labeling-automl:16.2.1'
    }

Untuk mendownload model dari Firebase secara dinamis, tambahkan linkFirebase dependensi:

    dependencies {
      // ...
      // Image labeling feature with automl model downloaded
      // from firebase
      implementation 'com.google.mlkit:image-labeling-automl:16.2.1'
      implementation 'com.google.mlkit:linkfirebase:16.0.1'
    }

3. Jika ingin mendownload model, pastikan Anda menambahkan Firebase ke project Android, jika Anda belum melakukannya. Tindakan ini tidak diperlukan jika Anda memaketkan model.

1. Memuat model

Mengonfigurasi sumber model lokal

Untuk memaketkan model dengan aplikasi Anda:

Akun Layanan 1. Ekstrak model dan metadata-nya dari arsip zip yang Anda download dari Firebase console. Sebaiknya gunakan file sebagaimana yang didownload, tanpa melakukan perubahan (termasuk nama file).

2. Sertakan model Anda dan file metadatanya dalam paket aplikasi Anda:

a. Jika Anda belum memiliki folder aset dalam project, buatlah dengan mengklik kanan folder app/, lalu mengklik New > Folder > Assets Folder.

b. Buat subfolder di folder aset untuk menyimpan file model.

c. Salin file model.tflite, dict.txt, dan manifest.json ke subfolder tersebut (ketiga file harus berada di folder yang sama).

3. Tambahkan hal berikut ke file build.gradle aplikasi untuk memastikan Gradle tidak mengompresi file model saat mem-build aplikasi:

    android {
        // ...
        aaptOptions {
            noCompress "tflite"
        }
    }

File model akan disertakan dalam paket aplikasi dan tersedia untuk ML Kit sebagai aset mentah.

Catatan: mulai dari plugin Android Gradle versi 4.1, .tflite akan ditambahkan ke daftar noCompress secara default dan baris di atas tidak diperlukan lagi.

4. Membuat objek LocalModel, dengan menentukan jalur ke manifes model file:

Kotlin

val localModel = AutoMLImageLabelerLocalModel.Builder()
        .setAssetFilePath("manifest.json")
        // or .setAbsoluteFilePath(absolute file path to manifest file)
        .build()

Java

AutoMLImageLabelerLocalModel localModel =
    new AutoMLImageLabelerLocalModel.Builder()
        .setAssetFilePath("manifest.json")
        // or .setAbsoluteFilePath(absolute file path to manifest file)
        .build();

Mengonfigurasi sumber model yang dihosting Firebase

Untuk menggunakan model yang dihosting dari jarak jauh, buat objek RemoteModel, dengan menentukan nama yang diberikan kepada model saat dipublikasikan:

Kotlin

// Specify the name you assigned in the Firebase console.
val remoteModel =
    AutoMLImageLabelerRemoteModel.Builder("your_model_name").build()

Java

// Specify the name you assigned in the Firebase console.
AutoMLImageLabelerRemoteModel remoteModel =
    new AutoMLImageLabelerRemoteModel.Builder("your_model_name").build();

Kemudian, mulai tugas download model dengan menentukan kondisi yang Anda izinkan untuk diunduh. Jika model tidak ada di perangkat, atau jika model versi baru yang tersedia, tugas ini akan mendownload dari Firebase:

Kotlin

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

Java

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(@NonNull Task task) {
                // Success.
            }
        });

Banyak aplikasi memulai tugas download dalam kode inisialisasinya, tetapi Anda dapat melakukannya kapan saja sebelum Anda perlu menggunakan model.

Membuat pemberi label gambar dari model Anda

Setelah sumber model dikonfigurasi, buat objek ImageLabeler dari sumber model tersebut lebih mendalam.

Jika Anda hanya memiliki model yang dipaketkan secara lokal, cukup buat pemberi label dari objek AutoMLImageLabelerLocalModel dan konfigurasikan nilai minimum skor keyakinan yang ingin Anda wajibkan (lihat Mengevaluasi model):

Kotlin

val autoMLImageLabelerOptions = AutoMLImageLabelerOptions.Builder(localModel)
    .setConfidenceThreshold(0)  // Evaluate your model in the Firebase console
                                // to determine an appropriate value.
    .build()
val labeler = ImageLabeling.getClient(autoMLImageLabelerOptions)

Java

AutoMLImageLabelerOptions autoMLImageLabelerOptions =
        new AutoMLImageLabelerOptions.Builder(localModel)
                .setConfidenceThreshold(0.0f)  // Evaluate your model in the Firebase console
                                               // to determine an appropriate value.
                .build();
ImageLabeler labeler = ImageLabeling.getClient(autoMLImageLabelerOptions)

Jika Anda memiliki model yang dihosting dari jarak jauh, Anda harus memeriksa apakah model tersebut sudah diunduh sebelum Anda menjalankannya. Anda dapat memeriksa status tugas download model menggunakan metode isModelDownloaded() pengelola model.

Meskipun Anda hanya perlu mengonfirmasi hal ini sebelum menjalankan pemberi label, jika Anda baik memiliki model yang dihosting dari jarak jauh maupun model yang dipaketkan secara lokal, masuk akal untuk melakukan pemeriksaan ini saat membuat instance pemberi label gambar: buat pemberi label dari model jarak jauh jika telah didownload, dan dari model model sebaliknya.

Kotlin

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener { isDownloaded -> 
    val optionsBuilder =
        if (isDownloaded) {
            AutoMLImageLabelerOptions.Builder(remoteModel)
        } else {
            AutoMLImageLabelerOptions.Builder(localModel)
        }
    // Evaluate your model in the Firebase console to determine an appropriate threshold.
    val options = optionsBuilder.setConfidenceThreshold(0.0f).build()
    val labeler = ImageLabeling.getClient(options)
}

Java

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Boolean isDownloaded) {
                AutoMLImageLabelerOptions.Builder optionsBuilder;
                if (isDownloaded) {
                    optionsBuilder = new AutoMLImageLabelerOptions.Builder(remoteModel);
                } else {
                    optionsBuilder = new AutoMLImageLabelerOptions.Builder(localModel);
                }
                AutoMLImageLabelerOptions options = optionsBuilder
                        .setConfidenceThreshold(0.0f)  // Evaluate your model in the Firebase console
                                                       // to determine an appropriate threshold.
                        .build();

                ImageLabeler labeler = ImageLabeling.getClient(options);
            }
        });

Jika hanya memiliki model yang dihosting dari jarak jauh, Anda harus menonaktifkan model lainnya—misalnya, menyamarkan atau menyembunyikan sebagian UI—hingga Anda mengonfirmasi bahwa model telah didownload. Anda dapat melakukannya dengan menambahkan pemroses ke metode download() pengelola model:

Kotlin

RemoteModelManager.getInstance().download(remoteModel, conditions)
    .addOnSuccessListener {
        // Download complete. Depending on your app, you could enable the ML
        // feature, or switch from the local model to the remote model, etc.
    }

Java

RemoteModelManager.getInstance().download(remoteModel, conditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Void v) {
              // Download complete. Depending on your app, you could enable
              // the ML feature, or switch from the local model to the remote
              // model, etc.
            }
        });

2. Menyiapkan gambar input

Selanjutnya, untuk setiap gambar yang ingin Anda beri label, buat objek InputImage dari gambar Anda. Pemberi label gambar berfungsi secara optimal jika Anda menggunakan Bitmap atau, jika Anda menggunakan Camera2 API, media.Image YUV_420_888, yang direkomendasikan jika memungkinkan.

Anda dapat membuat InputImage dari berbagai sumber, masing-masing akan dijelaskan di bawah ini.

Menggunakan `media.Image`

Untuk membuat InputImage dari objek media.Image, seperti saat Anda mengambil gambar dari kamera perangkat, teruskan objek media.Image dan objek rotasi ke InputImage.fromMediaImage().

Jika Anda menggunakan library CameraX, class OnImageCapturedListener dan ImageAnalysis.Analyzer akan menghitung nilai rotasi untuk Anda.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Jika Anda tidak menggunakan pustaka kamera yang memberi derajat rotasi gambar, Anda bisa menghitungnya dari derajat rotasi perangkat dan orientasi kamera sensor di perangkat:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Kemudian, teruskan objek media.Image dan nilai derajat rotasi ke InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Menggunakan URI file

Untuk membuat objek InputImage dari URI file, teruskan konteks aplikasi dan URI file ke InputImage.fromFilePath(). Hal ini berguna ketika Anda gunakan intent ACTION_GET_CONTENT untuk meminta pengguna memilih gambar dari aplikasi galeri mereka.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Menggunakan `ByteBuffer` atau `ByteArray`

Untuk membuat objek InputImage dari ByteBuffer atau ByteArray, pertama-tama hitung derajat rotasi gambar seperti yang dijelaskan sebelumnya untuk input media.Image. Kemudian, buat objek InputImage dengan buffer atau array, beserta tinggi, lebar, format encoding warna, dan derajat rotasi gambar:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Menggunakan `Bitmap`

Untuk membuat objek InputImage dari objek Bitmap, buat deklarasi berikut:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Gambar direpresentasikan oleh objek Bitmap bersama dengan derajat rotasi.

3. Menjalankan pemberi label gambar

Untuk memberi label pada objek dalam gambar, teruskan objek image ke metode ImageLabeler Metode process().

Kotlin

labeler.process(image)
        .addOnSuccessListener { labels ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }ImageLabelingActivity.kt

Java

labeler.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
            @Override
            public void onSuccess(List<ImageLabel> labels) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });ImageLabelingActivity.java

Catatan: Jika Anda menggunakan CameraX API, pastikan untuk menutup ImageProxy setelah selesai menggunakannya, misalnya, dengan menambahkan OnCompleteListener ke Task yang ditampilkan dari metode process. Lihat VisionProcessorBase dalam aplikasi contoh panduan memulai sebagai contoh.

4. Mendapatkan informasi tentang objek berlabel

Jika operasi pemberian label pada gambar berhasil, daftar objek ImageLabel akan diteruskan ke pemroses peristiwa sukses. Setiap objek ImageLabel mewakili sesuatu yang diberi label dalam gambar. Anda dapat memperoleh teks dari setiap label deskripsi, skor keyakinan kecocokannya, dan indeks kecocokannya. Contoh:

Kotlin

for (label in labels) {
    val text = label.text
    val confidence = label.confidence
    val index = label.index
}ImageLabelingActivity.kt

Java

for (ImageLabel label : labels) {
    String text = label.getText();
    float confidence = label.getConfidence();
    int index = label.getIndex();
}ImageLabelingActivity.java

Tips untuk meningkatkan performa real-time

Jika Anda ingin memberikan label pada gambar dalam aplikasi real-time, ikuti panduan ini untuk mencapai kecepatan frame terbaik:

Jika Anda menggunakan Camera atau camera2 API, batasi panggilan ke pemberi label gambar. Jika frame video baru tersedia saat pemberi label gambar sedang berjalan, hapus frame tersebut. Lihat VisionProcessorBase dalam aplikasi contoh panduan memulai sebagai contoh.
Jika Anda menggunakan API CameraX, pastikan strategi backpressure ditetapkan ke nilai defaultnya ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. Hal ini menjamin hanya satu gambar yang akan dikirim untuk dianalisis dalam satu waktu. Jika lebih banyak gambar yang dihasilkan ketika penganalisis sedang sibuk, mereka akan dikeluarkan secara otomatis dan tidak diantrekan pengiriman. Setelah gambar yang sedang dianalisis ditutup dengan memanggil ImageProxy.close(), gambar terbaru berikutnya akan dikirim.
Jika Anda menggunakan output pemberi label pada gambar untuk menempatkan grafis pada gambar input, pertama-tama dapatkan hasilnya dari ML Kit, lalu render gambar dan tempatkan grafis dalam satu langkah. Tindakan ini merender ke permukaan tampilan hanya sekali untuk setiap {i>input frame<i}. Lihat CameraSourcePreview dan GraphicOverlay dalam aplikasi contoh panduan memulai sebagai contoh.
Jika Anda menggunakan Camera2 API, ambil gambar dalam format ImageFormat.YUV_420_888. Jika Anda menggunakan Camera API versi lama, ambil gambar dalam format ImageFormat.NV21.

Memberikan label pada gambar dengan model yang dilatih AutoML di Android

Cobalah

Sebelum memulai

1. Memuat model

Mengonfigurasi sumber model lokal

Kotlin

Java

Mengonfigurasi sumber model yang dihosting Firebase

Kotlin

Java

Kotlin

Java

Membuat pemberi label gambar dari model Anda

Kotlin

Java

Kotlin

Java

Kotlin

Java

2. Menyiapkan gambar input

Menggunakan media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Menggunakan URI file

Kotlin

Java

Menggunakan ByteBuffer atau ByteArray

Kotlin

Java

Menggunakan Bitmap

Kotlin

Java

3. Menjalankan pemberi label gambar

Kotlin

Java

4. Mendapatkan informasi tentang objek berlabel

Kotlin

Java

Tips untuk meningkatkan performa real-time

Menggunakan `media.Image`

Menggunakan `ByteBuffer` atau `ByteArray`

Menggunakan `Bitmap`