Pelabelan gambar

Dengan API pelabelan gambar pada ML Kit, Anda dapat mendeteksi dan mengekstrak informasi tentang entity dalam gambar di berbagai kelompok kategori. Model pelabelan gambar default dapat mengidentifikasi objek, tempat, aktivitas, spesies hewan, produk umum, dan lainnya.

Anda juga dapat menggunakan model klasifikasi gambar kustom untuk menyesuaikan deteksi dengan kasus penggunaan tertentu. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.

Kemampuan utama

  • Pengklasifikasi dasar tujuan umum yang canggih Mengenali lebih dari 400 kategori yang mendeskripsikan objek yang paling umum ditemukan di foto.
  • Sesuaikan kasus penggunaan Anda dengan model kustom Gunakan model terlatih lainnya dari TensorFlow Hub atau model kustom Anda sendiri yang dilatih dengan TensorFlow, AutoML Vision Edge, atau pembuat Model TensorFlow Lite.
  • API tingkat tinggi yang mudah digunakan Tidak perlu menangani input/output model tingkat rendah, pra-pemrosesan dan pasca gambar, atau membuat pipeline pemrosesan. ML Kit mengekstrak label dari model TensorFlow Lite dan menyediakannya sebagai deskripsi teks.

Perhatikan bahwa API ini ditujukan untuk model klasifikasi gambar yang mendeskripsikan gambar lengkap. Untuk mengklasifikasikan satu atau beberapa objek dalam gambar, seperti sepatu atau furnitur, API Deteksi Objek &Pelacakan mungkin lebih cocok.

Model klasifikasi gambar yang didukung

API Pelabelan Gambar mendukung model klasifikasi gambar yang berbeda:

Model klasifikasi gambar yang didukung
Model dasar Secara default, API menggunakan model pelabelan gambar tujuan umum yang canggih yang mengenali lebih dari 400 entitas yang mencakup konsep yang paling umum ditemukan dalam foto.
Model TensorFlow Lite kustom Untuk menargetkan konsep khusus aplikasi, API menerima model klasifikasi gambar kustom dari berbagai sumber. Ini dapat berupa model terlatih yang didownload dari TensorFlow Hub atau model Anda sendiri yang dilatih dengan AutoML Vision Edge, TensorFlow Lite Model Maker, atau TensorFlow itu sendiri. Model dapat dipaketkan dengan aplikasi Anda atau dihosting dengan Firebase Machine Learning dan didownload saat runtime.

Menggunakan model dasar

Model dasar ML Kit menampilkan daftar entity yang mengidentifikasi orang, objek, tempat, aktivitas, dan sebagainya. Setiap entity dilengkapi dengan skor yang menunjukkan keyakinan model ML atas relevansinya. Berbekal informasi ini, Anda dapat melakukan tugas-tugas seperti pembuatan metadata otomatis dan moderasi konten. Model default yang disediakan dengan ML Kit mengenali lebih dari 400 entity yang berbeda.

iOS Android

Contoh label

Model dasar dalam API pelabelan gambar mendukung 400+ label, seperti contoh berikut ini:

KategoriContoh label
Karyawan Crowd
Selfie
Smile
Aktivitas Dancing
Eating
Surfing
Berbagai hal Car
Piano
Receipt
Hewan Bird
Cat
Dog
Tanaman Flower
Fruit
Vegetable
Tempat Kerja Beach
Lake
Mountain

Hasil contoh

Berikut adalah contoh entitas yang dikenali dalam foto yang menyertainya.

Foto: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
Label 0
Teks Stadion
Keyakinan 0,9205354
Label 1
Teks Olahraga
Keyakinan 0,7531109
Label 2
Teks Peristiwa
Keyakinan 0,66905296
Label 3
Teks Rekreasi
Keyakinan 0,59904146
Label 4
Teks Sepak bola
Keyakinan 0,56384534
Label 5
Teks Bersih
Keyakinan 0,54679185
Label 6
Teks Tanaman
Keyakinan 0,524364

Menggunakan model TensorFlow Lite kustom

Model pelabelan gambar dasar ML Kit dibuat untuk tujuan umum. Ini dilatih untuk mengenali 400 kategori yang menjelaskan objek yang paling umum ditemukan dalam foto. Aplikasi Anda mungkin memerlukan model klasifikasi gambar khusus yang mengenali jumlah kategori yang lebih sempit secara lebih mendetail, seperti model yang membedakan spesies bunga atau jenis makanan.

API ini memungkinkan Anda menyesuaikan kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Baca Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Machine Learning Firebase.

iOS Android

Pra-pemrosesan gambar input

Jika diperlukan, Pelabelan Gambar menggunakan penskalaan dan regangan gambar bilinear untuk menyesuaikan ukuran dan rasio lebar tinggi gambar input agar sesuai dengan persyaratan model dasar.