اكتشاف العناصر وتتبّعها
bookmark_border
bookmark
تنظيم صفحاتك في مجموعات
يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.
باستخدام واجهة برمجة التطبيقات الخاصة بتتبُّع الكائنات ورصدها على الجهاز فقط ضمن ML Kit، يمكنك رصد
العناصر وتتبّعها في صورة أو خلاصة كاميرا مباشرة.
يمكنك اختياريًا تصنيف العناصر التي تم رصدها، إما باستخدام المصنِّف التقريبي
المضمَّن في واجهة برمجة التطبيقات أو باستخدام نموذجك المخصّص لتصنيف الصور. راجع استخدام نموذج TensorFlow Lite المخصص للحصول على مزيد من المعلومات.
بما أنّ رصد الأجسام وتتبعها يحدث على الجهاز، فهي تعمل بشكل جيد مثل الواجهة الأمامية لمسار البحث المرئي. بعد رصد الكائنات وفلترتها، يمكنك تمريرها إلى خلفية سحابية، مثل Cloud Vision Product Search.
iOS
Android
الإمكانات الرئيسية
- الرصد السريع للأجسام وتتبّعها
يمكنك رصد الأجسام والحصول على مواقعها في الصورة. تتبع الكائنات عبر
إطارات الصور المتتالية.
- نموذج محسّن على الجهاز فقط
تم تحسين نموذج رصد الأشياء وتتبعها للأجهزة الجوّالة
ومُصمَّم للاستخدام في تطبيقات الوقت الفعلي، حتى على الأجهزة
المنخفضة.
- رصد العناصر البارزة
يمكنك تحديد الشيء الأكثر بروزًا في الصورة تلقائيًا.
- التصنيف التقريبي
يمكنك تصنيف الكائنات إلى فئات واسعة يمكنك استخدامها لفلترة الكائنات التي لا تهمّك. يتم دعم الفئات التالية: السلع المنزلية،
وسلع الأزياء، والطعام، والنباتات، والأماكن.
- التصنيف باستخدام نموذج مخصّص
يمكنك استخدام نموذج تصنيف الصور المخصّص لتحديد فئات عناصر معيّنة أو فلترتها. اجعل النموذج المخصّص يحقّق أداءً أفضل من خلال إغفال خلفية الصورة.
أمثلة النتائج
تتبع الكائن الأكثر بروزًا عبر الصور
يوضّح المثال أدناه بيانات التتبّع من ثلاثة إطارات متتالية باستخدام المصنِّف التلقائي التقريبي الذي توفّره ML Kit.
 |
| الرقم التعريفي للتتبع |
0 |
| الحدود |
(95، 45)، (496، 45)، (496، 240)، (95، 240) |
| الفئة |
مكان |
| ثقة التصنيف |
0.9296875 |
|
 |
| الرقم التعريفي للتتبع |
0 |
| الحدود |
(84، 46)، (478، 46)، (478، 247)، (84، 247) |
| الفئة |
مكان |
| ثقة التصنيف |
0.8710938 |
|
 |
| الرقم التعريفي للتتبع |
0 |
| الحدود |
(53، 45)، (519، 45)، (519، 240)، (53، 240) |
| الفئة |
مكان |
| ثقة التصنيف |
0.8828125 |
|
الصورة: كريستيان فيرير [CC BY-SA 4.0]
عناصر متعددة في صورة ثابتة
يوضح المثال أدناه بيانات الكائنات الأربعة المكتشفة في الصورة باستخدام المصنِّف التلقائي الذي يوفره ML Kit.
| الكائن 0 |
| الحدود |
(1، 97)، (332، 97)، (332، 332)، (1، 332) |
| الفئة |
FASHION_GOOD |
| ثقة التصنيف |
0.95703125 |
| الكائن 1 |
| الحدود |
(186، 80)، (337، 80)، (337، 226)، (186، 226) |
| الفئة |
FASHION_GOOD |
| ثقة التصنيف |
0.84375 |
| الكائن 2 |
| الحدود |
(296، 80)، (472، 80)، (472، 388)، (296، 388) |
| الفئة |
FASHION_GOOD |
| ثقة التصنيف |
0.94921875 |
| الكائن 3 |
| الحدود |
(439، 83)، (615، 83)، (615، 306)، (439، 306) |
| الفئة |
FASHION_GOOD |
| ثقة التصنيف |
0.9375 |
استخدام نموذج TensorFlow Lite المخصّص
صُمم المصنِّف التلقائي التقريبي لخمس فئات لتقديم معلومات محدودة
عن الكائنات المكتشفة. قد تحتاج إلى نموذج مصنِّف أكثر تخصصًا يغطي نطاقًا أضيق من المفاهيم بمزيد من التفصيل.
على سبيل المثال، نموذج للتمييز بين أنواع الزهور أو أنواع الطعام.
تتيح لك واجهة برمجة التطبيقات هذه إمكانية التخصيص وفق حالة استخدام معيّنة من خلال إتاحة نماذج تصنيف صور مخصّصة من مجموعة كبيرة من المصادر. يُرجى الرجوع إلى مقالة
النماذج المخصّصة باستخدام حزمة تعلّم الآلة لمزيد من المعلومات. يمكن إرفاق النماذج المخصّصة مع تطبيقك أو تنزيلها ديناميكيًا من السحابة الإلكترونية باستخدام خدمة نشر النموذج من خلال تعلُّم الآلة من Firebase.
iOS
Android
عند الحاجة، يتم استخدام تقليص الصور ورصدها بشكل ثنائي الخطي لضبط حجم الصورة المدخلة ونسبة العرض إلى الارتفاع بحيث تتناسب مع متطلبات النموذج الأساسي.
إنّ محتوى هذه الصفحة مرخّص بموجب ترخيص Creative Commons Attribution 4.0 ما لم يُنصّ على خلاف ذلك، ونماذج الرموز مرخّصة بموجب ترخيص Apache 2.0. للاطّلاع على التفاصيل، يُرجى مراجعة سياسات موقع Google Developers. إنّ Java هي علامة تجارية مسجَّلة لشركة Oracle و/أو شركائها التابعين.
تاريخ التعديل الأخير: 2025-08-17 (حسب التوقيت العالمي المتفَّق عليه)
[null,null,["تاريخ التعديل الأخير: 2025-08-17 (حسب التوقيت العالمي المتفَّق عليه)"],[[["\u003cp\u003eML Kit's on-device API enables detection and tracking of objects within images or live camera feeds, working efficiently even on lower-end mobile devices.\u003c/p\u003e\n"],["\u003cp\u003eIt offers optional object classification using a built-in coarse classifier or your own custom TensorFlow Lite model for more specialized categorization.\u003c/p\u003e\n"],["\u003cp\u003eThe API can identify the most prominent object in an image and track it across frames, making it suitable for visual search applications.\u003c/p\u003e\n"],["\u003cp\u003eCustom models can be integrated to classify objects into specific categories, enhancing the functionality for tailored use cases.\u003c/p\u003e\n"],["\u003cp\u003eInput images are automatically preprocessed to fit model requirements, using bilinear scaling and stretching if necessary.\u003c/p\u003e\n"]]],["ML Kit's API enables on-device object detection and tracking in images or live feeds, optionally classifying them. It features fast detection, an optimized model for mobile, and prominent object identification. Objects can be classified into broad categories or with custom models. The API supports custom image classification models, including ones dynamically downloaded. Detected objects are tracked across frames, and the system adjusts input image size and aspect ratio as needed.\n"],null,["# Object detection and tracking\n\nWith ML Kit's on-device object detection and tracking API, you can detect\nand track objects in an image or live camera feed.\n\nOptionally, you can classify detected objects, either by using the coarse\nclassifier built into the API, or using your own custom image classification\nmodel. See [Using a custom TensorFlow Lite model](#custom-tflite) for more\ninformation.\n\nBecause object detection and tracking happens on the device, it works well as\nthe front end of the visual search pipeline. After you detect and filter\nobjects, you can pass them to a cloud backend, such as\n[Cloud Vision Product Search](https://cloud.google.com/vision/product-search/docs/).\n\n[iOS](/ml-kit/vision/object-detection/ios)\n[Android](/ml-kit/vision/object-detection/android)\n\nKey capabilities\n----------------\n\n- **Fast object detection and tracking** Detect objects and get their locations in the image. Track objects across successive image frames.\n- **Optimized on-device model** The object detection and tracking model is optimized for mobile devices and intended for use in real-time applications, even on lower-end devices.\n- **Prominent object detection** Automatically determine the most prominent object in an image.\n- **Coarse classification** Classify objects into broad categories, which you can use to filter out objects you're not interested in. The following categories are supported: home goods, fashion goods, food, plants, and places.\n- **Classification with a custom model** Use your own custom image classification model to identify or filter specific object categories. Make your custom model perform better by leaving out background of the image.\n\nExample results\n---------------\n\n### Tracking the most prominent object across images\n\nThe example below shows the tracking data from three successive frames with the\ndefault coarse classifier provided by ML Kit.\n\n|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (95, 45), (496, 45), (496, 240), (95, 240) | | Category | PLACE | | Classification confidence | 0.9296875 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (84, 46), (478, 46), (478, 247), (84, 247) | | Category | PLACE | | Classification confidence | 0.8710938 | |\n| | |---------------------------|--------------------------------------------| | Tracking ID | 0 | | Bounds | (53, 45), (519, 45), (519, 240), (53, 240) | | Category | PLACE | | Classification confidence | 0.8828125 | |\n\nPhoto: Christian Ferrer \\[CC BY-SA 4.0\\]\n\n### Multiple objects in a static image\n\nThe example below shows the data for the four objects detected in the image with\nthe default coarse classifier provided by ML Kit.\n\n| Object 0 ||\n|---------------------------|----------------------------------------------|\n| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.95703125 |\n| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.84375 |\n| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.94921875 |\n| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |\n| Category | FASHION_GOOD |\n| Classification confidence | 0.9375 |\n\nUsing a custom TensorFlow Lite model\n------------------------------------\n\nThe default coarse classifier is built for five categories, providing limited\ninformation about the detected objects. You might need a more specialized\nclassifier model that covers a narrower domain of concepts in more detail;\nfor example, a model to distinguish between species of flowers or types of\nfood.\n\nThis API lets you tailor to a particular use case by by supporting custom image\nclassification models from a wide range of sources. Please refer to\n[Custom models with ML Kit](/ml-kit/custom-models) to learn more. Custom models\ncan be bundled with your app or dynamically downloaded from the cloud using\nFirebase Machine Learning's Model deployment service.\n\n[iOS](/ml-kit/vision/object-detection/custom-models/ios)\n[Android](/ml-kit/vision/object-detection/custom-models/android)\n\nInput image preprocessing\n-------------------------\n\nIf needed, object detection and tracking uses bilinear image scaling and\nstretching to adjust the input image size and aspect ratio so that they fit the\nrequirements of the underlying model."]]
