Deteksi dan pelacakan objek

Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera live.

Secara opsional, Anda dapat mengklasifikasikan objek yang terdeteksi, baik menggunakan pengklasifikasi kasar yang dibangun ke dalam API, atau menggunakan model klasifikasi gambar kustom Anda sendiri. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.

Karena deteksi dan pelacakan objek terjadi di perangkat, objek ini berfungsi dengan baik sebagai bagian depan pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda bisa meneruskannya ke backend cloud, seperti Cloud Vision Product Search.

iOS Android

Kemampuan utama

  • Deteksi dan pelacakan objek yang cepat Deteksi objek dan dapatkan lokasinya dalam gambar. Melacak objek di seluruh bingkai gambar berturut-turut.
  • Model di perangkat yang dioptimalkan Model deteksi dan pelacakan objek dioptimalkan untuk perangkat seluler dan ditujukan untuk digunakan dalam aplikasi real-time, bahkan pada perangkat yang lebih rendah.
  • Deteksi objek yang jelas Otomatis menentukan objek yang paling terlihat dalam gambar.
  • Klasifikasi kasar Mengklasifikasikan objek ke dalam kategori luas, yang dapat Anda gunakan untuk memfilter objek yang tidak Anda minati. Kategori berikut ini didukung: peralatan rumah tangga, perlengkapan mode, makanan, tanaman, dan tempat.
  • Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Tingkatkan performa model kustom Anda dengan tidak menampilkan latar belakang gambar.

Hasil contoh

Melacak objek yang paling menonjol di seluruh gambar

Contoh di bawah ini menunjukkan data pelacakan dari tiga frame berturut-turut dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.

ID Pelacakan 0
Batas (95, 45), (496, 45), (496, 240), (95, 240)
Kategori TEMPAT
Keyakinan klasifikasi 0,9296875
ID Pelacakan 0
Batas (84, 46), (478, 46), (478, 247), (84, 247)
Kategori TEMPAT
Keyakinan klasifikasi 0,8710938
ID Pelacakan 0
Batas (53, 45), (519, 45), (519, 240), (53, 240)
Kategori TEMPAT
Keyakinan klasifikasi 0,8828125

Foto: Christian Ferrer [CC BY-SA 4.0]

Beberapa objek dalam gambar statis

Contoh di bawah ini menunjukkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.

Objek 0
Batas (1, 97), (332, 97), (332, 332), (1, 332)
Kategori FASHION_GOOD
Keyakinan klasifikasi 0,95703125
Objek 1
Batas (186, 80), (337, 80), (337, 226), (186, 226)
Kategori FASHION_GOOD
Keyakinan klasifikasi 0,84375
Objek 2
Batas (296, 80), (472, 80), (472, 388), (296, 388)
Kategori FASHION_GOOD
Keyakinan klasifikasi 0,94921875
Objek 3
Batas (439, 83), (615, 83), (615, 306), (439, 306)
Kategori FASHION_GOOD
Keyakinan klasifikasi 0,9375

Menggunakan model TensorFlow Lite kustom

Pengklasifikasi kasar default dibuat untuk lima kategori, yang memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model pengklasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail; misalnya, model untuk membedakan antara spesies bunga atau jenis makanan.

API ini memungkinkan Anda melakukan penyesuaian pada kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Lihat Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Firebase Machine Learning.

iOS Android

Prapemrosesan gambar input

Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan peregangan gambar bilinear untuk menyesuaikan ukuran gambar input dan rasio lebar tinggi agar sesuai dengan persyaratan model yang mendasarinya.