Anda dapat menggunakan ML Kit untuk memberi label pada objek yang dikenali dalam gambar. Model default yang disediakan dengan ML Kit mendukung 400+ label berbeda.
Fitur | Tidak Dipaketkan | Paket |
---|---|---|
Penerapan | Model didownload secara dinamis melalui Layanan Google Play. | Model ditautkan secara statis ke waktu build Anda. |
Ukuran aplikasi | Ukuran meningkat sekitar 200 KB. | Peningkatan ukuran sekitar 5,7 MB. |
Waktu inisialisasi | Mungkin harus menunggu model didownload sebelum digunakan pertama kali. | Model akan segera tersedia |
Cobalah
- Coba utak-atik aplikasi contoh ini untuk melihat contoh penggunaan API ini.
Sebelum memulai
Dalam file
build.gradle
level project, pastikan Anda memasukkan repositori Maven Google di bagianbuildscript
danallprojects
.Tambahkan dependensi untuk library Android ML Kit ke file gradle level aplikasi modul Anda, biasanya
app/build.gradle
. Pilih salah satu dependensi berikut berdasarkan kebutuhan Anda:Untuk memaketkan model dengan aplikasi Anda:
dependencies { // ... // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:image-labeling:17.0.8' }
Untuk menggunakan model di Layanan Google Play:
dependencies { // ... // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8' }
Jika memilih untuk menggunakan model di Layanan Google Play, Anda dapat mengonfigurasi aplikasi untuk otomatis mendownload model ke perangkat setelah aplikasi diinstal dari Play Store. Untuk melakukannya, tambahkan deklarasi berikut ke file
AndroidManifest.xml
aplikasi Anda:<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ica" > <!-- To use multiple models: android:value="ica,model2,model3" --> </application>
Anda juga dapat memeriksa ketersediaan model secara eksplisit dan meminta download melalui layanan Google Play ModuleInstallClient API.
Jika Anda tidak mengaktifkan download model waktu penginstalan atau meminta download eksplisit, model akan didownload saat pertama kali Anda menjalankan pemberi label. Permintaan yang Anda buat sebelum download selesai tidak memberikan hasil apa pun.
Sekarang Anda siap memberi label pada gambar.
1. Menyiapkan gambar input
Buat objekInputImage
dari gambar Anda.
Pemberi label pada gambar berfungsi optimal jika Anda menggunakan Bitmap
atau, jika Anda menggunakan camera2 API, media.Image
YUV_420_888, yang direkomendasikan jika memungkinkan.
Anda dapat membuat objek InputImage
dari berbagai sumber, yang masing-masing langkahnya dijelaskan di bawah.
Menggunakan media.Image
Untuk membuat objek InputImage
dari objek media.Image
, seperti saat mengambil gambar dari kamera perangkat, teruskan objek media.Image
dan rotasi gambar ke InputImage.fromMediaImage()
.
Jika Anda menggunakan library
CameraX, class OnImageCapturedListener
dan ImageAnalysis.Analyzer
menghitung nilai rotasi untuk Anda.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Jika tidak menggunakan library kamera yang memberi derajat rotasi gambar, Anda dapat menghitungnya dari derajat rotasi perangkat dan orientasi sensor kamera pada perangkat:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Kemudian, teruskan objek media.Image
dan nilai derajat rotasi ke InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Menggunakan URI file
Untuk membuat objek InputImage
dari URI file, teruskan konteks aplikasi dan URI file ke InputImage.fromFilePath()
. Hal ini berguna saat Anda menggunakan intent ACTION_GET_CONTENT
untuk meminta pengguna memilih gambar dari aplikasi galeri mereka.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Menggunakan ByteBuffer
atau ByteArray
Untuk membuat objek InputImage
dari ByteBuffer
atau ByteArray
, pertama-tama hitung derajat rotasi gambar seperti yang dijelaskan sebelumnya untuk input media.Image
.
Kemudian, buat objek InputImage
dengan buffer atau array, beserta tinggi, lebar, format encoding warna, dan derajat rotasi gambar:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Menggunakan Bitmap
Untuk membuat objek InputImage
dari objek Bitmap
, buat deklarasi berikut:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Gambar direpresentasikan oleh objek Bitmap
bersama dengan derajat rotasi.
2. Mengonfigurasi dan menjalankan pemberi label pada gambar
Untuk memberi label pada objek dalam gambar, teruskan objekInputImage
ke metode process
ImageLabeler
.
Pertama, dapatkan instance
ImageLabeler
.Jika Anda ingin menggunakan pemberi label pada gambar di perangkat, buat pernyataan berikut:
Kotlin
// To use default options: val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS) // Or, to set the minimum confidence required: // val options = ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build() // val labeler = ImageLabeling.getClient(options)
Java
// To use default options: ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS); // Or, to set the minimum confidence required: // ImageLabelerOptions options = // new ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build(); // ImageLabeler labeler = ImageLabeling.getClient(options);
- Lalu, teruskan gambar ke metode
process()
:
Kotlin
labeler.process(image) .addOnSuccessListener { labels -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
labeler.process(image) .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() { @Override public void onSuccess(List<ImageLabel> labels) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
3. Mendapatkan informasi tentang objek berlabel
Jika operasi pelabelan pada gambar berhasil, daftar objekImageLabel
akan diteruskan ke pemroses peristiwa sukses. Setiap
objek ImageLabel
mewakili sesuatu yang diberi label dalam gambar. Model dasar mendukung 400+ label berbeda.
Anda bisa mendapatkan deskripsi teks setiap label, indeks di antara semua label yang didukung oleh model, dan skor keyakinan kecocokannya. Contoh:
Kotlin
for (label in labels) { val text = label.text val confidence = label.confidence val index = label.index }
Java
for (ImageLabel label : labels) { String text = label.getText(); float confidence = label.getConfidence(); int index = label.getIndex(); }
Tips untuk meningkatkan performa real-time
Jika Anda ingin memberikan label pada gambar dalam aplikasi real-time, ikuti panduan ini untuk mencapai kecepatan frame terbaik:
- Jika Anda menggunakan API
Camera
ataucamera2
, throttle panggilan ke pemberi label gambar. Jika frame video baru tersedia saat pemberi label gambar sedang berjalan, hapus frame tersebut. Lihat classVisionProcessorBase
di aplikasi contoh panduan memulai untuk mengetahui contohnya. - Jika Anda menggunakan
CameraX
API, pastikan strategi backpressure ditetapkan ke nilai defaultnyaImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. Hal ini menjamin hanya satu gambar yang akan dikirimkan untuk analisis pada satu waktu. Jika menghasilkan lebih banyak gambar saat penganalisis sedang sibuk, gambar tersebut akan dihapus secara otomatis dan tidak diantrekan untuk dikirim. Setelah gambar yang dianalisis ditutup dengan memanggil ImageProxy.close(), gambar terbaru berikutnya akan dikirimkan. - Jika Anda menggunakan output pemberi label gambar untuk menempatkan grafis pada gambar input, pertama-tama dapatkan hasilnya dari ML Kit, lalu render gambar dan tempatkan grafis dalam satu langkah. Fungsi ini hanya merender ke permukaan tampilan sekali untuk setiap frame input. Lihat class
CameraSourcePreview
danGraphicOverlay
dalam aplikasi contoh panduan memulai untuk mengetahui contohnya. - Jika Anda menggunakan Camera2 API, ambil gambar dalam format
ImageFormat.YUV_420_888
. Jika Anda menggunakan Camera API versi lama, ambil gambar dalam formatImageFormat.NV21
.