Nesne algılama ve izleme

ML Kit'in cihaz üzerindeki nesne algılama ve izleme API'si ile bir görüntü veya canlı kamera feed'indeki nesneleri algılayıp izleyebilirsiniz.

İsteğe bağlı olarak, API'de yerleşik olarak bulunan kaba sınıflandırıcıyı veya kendi özel görüntü sınıflandırma modelinizi kullanarak algılanan nesneleri sınıflandırabilirsiniz. Daha fazla bilgi için Özel bir TensorFlow Lite modeli kullanma bölümüne bakın.

Nesne algılama ve izleme işlemleri cihazda gerçekleştiği için görsel arama ardışık düzeninin ön ucu olarak iyi bir şekilde çalışır. Nesneleri algılayıp filtreledikten sonra bunları Cloud Vision Product Search gibi bir bulut arka ucuna aktarabilirsiniz.

iOS Android

Temel özellikler

  • Hızlı nesne algılama ve izleme Nesneleri algılayın ve görüntüde konumlarını öğrenin. Art arda gelen resim çerçevelerinde nesneleri takip edin.
  • Optimize edilmiş cihaz üzerinde model Nesne algılama ve izleme modeli, mobil cihazlar için optimize edilmiş olup düşük teknolojili cihazlarda bile gerçek zamanlı uygulamalarda kullanılmak üzere tasarlanmıştır.
  • Belirgin nesne algılama Bir görüntüdeki en belirgin nesneyi otomatik olarak tespit edin.
  • Yaklaşık sınıflandırma Nesneleri geniş kategorilere ayırın. Bunları, ilgilenmediğiniz nesneleri filtrelemek için kullanabilirsiniz. Şu kategoriler desteklenir: ev eşyaları, moda ürünleri, yiyecek, bitkiler ve yerler.
  • Özel modelle sınıflandırma Belirli nesne kategorilerini tanımlamak veya filtrelemek için kendi özel görüntü sınıflandırma modelinizi kullanın. Resmin arka planını atlayarak özel modelinizin daha iyi performans göstermesini sağlayın.

Örnek sonuçlar

Resimlerde en belirgin nesneyi izleme

Aşağıdaki örnekte ML Kit tarafından sağlanan varsayılan kaba sınıflandırıcının kullanıldığı art arda üç kareden elde edilen izleme verileri gösterilmektedir.

İzleme Kimliği 0
Sınırlar (95, 45), (496, 45), (496, 240), (95, 240)
Kategori YER
Sınıflandırma güveni 0,9296875
İzleme Kimliği 0
Sınırlar (84, 46), (478, 46), (478, 247), (84, 247)
Kategori YER
Sınıflandırma güveni 0,8710938
İzleme Kimliği 0
Sınırlar (53, 45), (519, 45), (519, 240), (53, 240)
Kategori YER
Sınıflandırma güveni 0,8828125

Fotoğraf: Christian Ferrer [CC BY-SA 4.0]

Statik bir resimdeki birden çok nesne

Aşağıdaki örnekte, ML Kiti tarafından sağlanan varsayılan kaba sınıflandırıcıyla görüntüde algılanan dört nesnenin verileri gösterilmektedir.

Nesne 0
Sınırlar (1, 97), (332, 97), (332, 332), (1, 332)
Kategori FASHION_GOOD
Sınıflandırma güveni 0,95703125
Nesne 1
Sınırlar (186, 80), (337, 80), (337, 226), (186, 226)
Kategori FASHION_GOOD
Sınıflandırma güveni 0,84375
Nesne 2
Sınırlar (296, 80), (472, 80), (472, 388), (296, 388)
Kategori FASHION_GOOD
Sınıflandırma güveni 0,94921875
Nesne 3
Sınırlar (439, 83), (615, 83), (615, 306), (439, 306)
Kategori FASHION_GOOD
Sınıflandırma güveni 0,9375

Özel bir TensorFlow Lite modeli kullanma

Varsayılan genel sınıflandırıcı, beş kategori için oluşturulmuştur ve algılanan nesneler hakkında sınırlı bilgi sağlar. Kavramların daha dar bir alanını daha ayrıntılı olarak kapsayan daha özel bir sınıflandırma modeline (örneğin, çiçek veya yemek türlerini birbirinden ayırt etmeye yarayan bir model) ihtiyacınız olabilir.

Bu API, çok çeşitli kaynaklardan özel görüntü sınıflandırma modellerini destekleyerek belirli bir kullanım alanına göre özelleştirme yapmanıza olanak tanır. Daha fazla bilgi edinmek için lütfen Makine Öğrenimi Kiti ile özel modeller bölümüne bakın. Özel modeller uygulamanızla birlikte paket haline getirilebilir veya Firebase Makine Öğrenimi'nin Model dağıtım hizmeti kullanılarak buluttan dinamik olarak indirilebilir.

iOS Android

Giriş resmi ön işlemesi

Gerekirse nesne algılama ve izleme, giriş görüntü boyutunu ve en boy oranını temel modelin gereksinimlerini karşılayacak şekilde ayarlamak için iki doğrusal görüntü ölçeklendirme ve genişletme kullanır.