تشخیص و ردیابی اشیاء

با API تشخیص و ردیابی اشیاء روی دستگاه کیت ML، می توانید اشیاء را در یک تصویر یا فید دوربین زنده شناسایی و ردیابی کنید.

به صورت اختیاری، می‌توانید اشیاء شناسایی‌شده را با استفاده از طبقه‌بندی درشت تعبیه‌شده در API یا با استفاده از مدل طبقه‌بندی تصویر سفارشی خود طبقه‌بندی کنید. برای اطلاعات بیشتر به استفاده از یک مدل سفارشی TensorFlow Lite مراجعه کنید.

از آنجا که تشخیص و ردیابی شی در دستگاه اتفاق می افتد، به خوبی به عنوان قسمت جلویی خط لوله جستجوی بصری عمل می کند. پس از شناسایی و فیلتر کردن اشیاء، می‌توانید آنها را به پشتیبان ابری مانند جستجوی محصول Cloud Vision منتقل کنید.

iOS اندروید

قابلیت های کلیدی

• تشخیص و ردیابی سریع اشیا اشیاء را شناسایی کرده و مکان آنها را در تصویر دریافت کنید. ردیابی اشیاء در فریم های تصویر متوالی.
• مدل بهینه سازی شده روی دستگاه مدل تشخیص و ردیابی شی برای دستگاه های تلفن همراه بهینه شده است و برای استفاده در برنامه های بلادرنگ، حتی در دستگاه های پایین تر در نظر گرفته شده است.
• تشخیص شیء برجسته به طور خودکار برجسته ترین شی را در یک تصویر تعیین می کند.
• طبقه بندی درشت اشیاء را به دسته های گسترده طبقه بندی کنید، که می توانید از آنها برای فیلتر کردن اشیایی که به آنها علاقه ندارید استفاده کنید. دسته های زیر پشتیبانی می شوند: کالاهای خانگی، کالاهای مد، غذا، گیاهان و مکان ها.
• طبقه بندی با یک مدل سفارشی از مدل طبقه بندی تصویر سفارشی خود برای شناسایی یا فیلتر کردن دسته بندی اشیاء خاص استفاده کنید. با کنار گذاشتن پس‌زمینه تصویر، عملکرد مدل سفارشی خود را بهتر کنید.

نتایج نمونه

ردیابی برجسته ترین شی در بین تصاویر

مثال زیر داده های ردیابی را از سه فریم متوالی با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.

	شناسه پیگیری 0 محدوده (95، 45)، (496، 45)، (496، 240)، (95، 240) دسته بندی محل اطمینان طبقه بندی 0.9296875
	شناسه پیگیری 0 محدوده (84، 46)، (478، 46)، (478، 247)، (84، 247) دسته بندی محل اطمینان طبقه بندی 0.8710938
	شناسه پیگیری 0 محدوده (53، 45)، (519، 45)، (519، 240)، (53، 240) دسته بندی محل اطمینان طبقه بندی 0.8828125

عکس: Christian Ferrer [CC BY-SA 4.0]

چندین اشیاء در یک تصویر ثابت

مثال زیر داده های چهار شی شناسایی شده در تصویر را با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.

شی 0
محدوده	(1، 97)، (332، 97)، (332، 332)، (1، 332)
دسته بندی	FASHION_GOOD
اطمینان طبقه بندی	0.95703125
شی 1
محدوده	(186، 80)، (337، 80)، (337، 226)، (186، 226)
دسته بندی	FASHION_GOOD
اطمینان طبقه بندی	0.84375
شی 2
محدوده	(296، 80)، (472، 80)، (472، 388)، (296، 388)
دسته بندی	FASHION_GOOD
اطمینان طبقه بندی	0.94921875
شی 3
محدوده	(439، 83)، (615، 83)، (615، 306)، (439، 306)
دسته بندی	FASHION_GOOD
اطمینان طبقه بندی	0.9375

با استفاده از یک مدل سفارشی TensorFlow Lite

طبقه بندی درشت پیش فرض برای پنج دسته ساخته شده است که اطلاعات محدودی در مورد اشیاء شناسایی شده ارائه می دهد. ممکن است به یک مدل طبقه‌بندی تخصصی‌تر نیاز داشته باشید که دامنه محدودتری از مفاهیم را با جزئیات بیشتری پوشش دهد. به عنوان مثال، مدلی برای تمایز بین گونه های گل یا انواع غذا.

این API به شما امکان می‌دهد با پشتیبانی از مدل‌های طبقه‌بندی تصویر سفارشی از طیف گسترده‌ای از منابع، برای یک مورد خاص استفاده کنید. لطفاً برای کسب اطلاعات بیشتر به مدل های سفارشی با کیت ML مراجعه کنید. با استفاده از سرویس استقرار مدل Firebase Machine Learning، می‌توان مدل‌های سفارشی را با برنامه‌تان همراه کرد یا به‌صورت پویا از ابر دانلود کرد.

iOS اندروید

پیش پردازش تصویر ورودی

در صورت نیاز، تشخیص و ردیابی شی از مقیاس گذاری و کشش تصویر دوخطی برای تنظیم اندازه تصویر ورودی و نسبت ابعاد استفاده می کند تا مطابق با الزامات مدل اصلی باشد.