ML Kit'in cihaz üzerinde algılama ve izleme API'si ile bir görüntü veya canlı kamera feed'indeki nesneleri algılayıp takip edebilirsiniz.
İsteğe bağlı olarak, API'de bulunan yaklaşık sınıflandırıcıyı veya kendi özel görüntü sınıflandırma modelinizi kullanarak algılanan nesneleri sınıflandırabilirsiniz. Daha fazla bilgi için Özel TensorFlow Lite modeli kullanma bölümüne bakın.
Nesne algılama ve izleme, cihazda gerçekleştiği için görsel arama ardışık düzeninin ön ucu olarak daha iyi çalışır. Nesneleri algılayıp filtreledikten sonra bunları Cloud Vision Product Search gibi bir bulut arka ucuna aktarabilirsiniz.
Temel özellikler
- Nesne algılama ve izleme Nesneleri algılayıp konumlarını belirleyin. Birbirini izleyen resim çerçevelerindeki nesneleri izleyin.
- Optimize edilmiş cihaz modeli Nesne algılama ve izleme modeli mobil cihazlar için optimize edilmiştir ve daha düşük teknolojili cihazlarda bile gerçek zamanlı uygulamalarda kullanılmak üzere tasarlanmıştır.
- Belirgin nesne algılama Bir görüntüdeki en belirgin nesneyi otomatik olarak belirler.
- Genel sınıflandırma Nesneleri ilgilenmediğiniz nesneleri filtrelemek için kullanabileceğiniz geniş kategoriler halinde sınıflandırın. Şu kategoriler desteklenir: ev eşyaları, moda ürünleri, yiyecekler, bitkiler ve yerler.
- Özel modelle sınıflandırma Belirli nesne kategorilerini tanımlamak veya filtrelemek için kendi özel görüntü sınıflandırma modelinizi kullanın. Görüntünün arka planını boş bırakarak özel modelinizin daha iyi performans göstermesini sağlayın.
Örnek sonuçlar
Resimler arasında en belirgin nesneyi izleme
Aşağıdaki örnekte, ML Kit tarafından sağlanan varsayılan genel sınıflandırıcı ile birbirini izleyen üç çerçeveden izleme verileri gösterilmektedir.
 |
|
||||||||
 |
|
||||||||
 |
|
Fotoğraf: Christian Ferrer [CC BY-SA 4.0]
Statik resimdeki birden çok nesne
Aşağıdaki örnekte, ML Kit tarafından sağlanan varsayılan genel sınıflandırıcıyla resimde tespit edilen dört nesnenin verileri gösterilmektedir.
| Nesne 0 | |
|---|---|
| Sınırlar | (1, 97), (332, 97), (332, 332), (1, 332) |
| Kategori | FASHION_İYİ |
| Sınıflandırma güveni | 0,95703125 |
| 1. Nesne | |
| Sınırlar | (186, 80), (337, 80), (337, 226), (186, 226) |
| Kategori | FASHION_İYİ |
| Sınıflandırma güveni | 0,84375 |
| Nesne 2 | |
| Sınırlar | (296, 80), (472, 80), (472, 388), (296, 388) |
| Kategori | FASHION_İYİ |
| Sınıflandırma güveni | 0,94921875 |
| Nesne 3 | |
| Sınırlar | (439, 83), (615, 83), (615, 306), (439, 306) |
| Kategori | FASHION_İYİ |
| Sınıflandırma güveni | 0,9375 |
Özel TensorFlow Lite modeli kullanma
Varsayılan kaba sınıflandırıcı beş kategori için oluşturulmuştur ve algılanan nesneler hakkında sınırlı bilgi sağlar. Daha dar bir kavram alanını ayrıntılı şekilde ele alan daha özel bir sınıflandırıcı modeline ihtiyacınız olabilir. Örneğin, çiçek türlerini veya yiyecek türlerini birbirinden ayırt etmek için bir model kullanabilirsiniz.
Bu API, çok çeşitli kaynaklardan özel görüntü sınıflandırma modellerini destekleyerek belirli bir kullanım alanına göre uyarlama yapmanıza olanak tanır. Daha fazla bilgi edinmek için lütfen ML Kiti ile özel modeller sayfasına göz atın. Özel modeller, uygulamanızla birlikte paket haline getirilebilir veya Firebase Machine Learning'in Model dağıtım hizmeti aracılığıyla buluttan dinamik olarak indirilebilir.
Giriş resmini önceden işleme
Nesne algılama ve izleme, gerekirse giriş resmi boyutunu ve en boy oranını temel modelin gereksinimlerine uyacak şekilde ayarlamak için çift yönlü resim ölçeklendirme ve genişletme kullanır.