راهنماهای مخصوص پلتفرم
Android (Kotlin/Java)
Android NDK (C)
iOS
یونیتی (بنیاد AR)
Scene Semantics API به توسعه دهندگان این امکان را می دهد تا صحنه اطراف کاربر را که برای بسیاری از تجربیات AR با کیفیت بالا مورد نیاز است، درک کنند. Scene Semantics API که بر اساس یک مدل ML ساخته شده است، اطلاعات معنایی بلادرنگ را فراهم می کند که مکمل اطلاعات هندسی موجود در ARCore است.
با توجه به تصویری از یک صحنه در فضای باز، API یک برچسب برای هر پیکسل در مجموعه ای از کلاس های معنایی مفید، مانند آسمان، ساختمان، درخت، جاده، پیاده رو، وسیله نقلیه، شخص و موارد دیگر برمی گرداند. علاوه بر برچسب‌های پیکسل، Scene Semantics API همچنین مقادیر اطمینان را برای هر برچسب پیکسل و روشی آسان برای پرس و جو در مورد شیوع یک برچسب معین در یک صحنه در فضای باز ارائه می‌دهد.
از چپ به راست، نمونه‌هایی از یک تصویر ورودی، تصویر معنایی برچسب‌های پیکسل و تصویر اطمینان مربوطه:
با Scene Semantics API، توسعه‌دهندگان می‌توانند اجزای صحنه خاصی را شناسایی کنند، مانند جاده‌ها و پیاده‌روها برای کمک به راهنمایی کاربر در یک شهر ناآشنا، افراد و وسایل نقلیه برای نمایش انسداد روی اشیاء پویا، آسمان برای ایجاد غروب خورشید در هر زمانی از روز. و ساختمان ها برای تغییر ظاهر خود و لنگر انداختن اشیاء مجازی.
برچسب های معنایی و کیفیت
Scene Semantics API چندین برچسب را ارائه می دهد که هر کدام دارای کیفیت یا قابلیت اطمینان مربوطه هستند. به طور کلی، مدل ML بهتر می‌تواند کلاس‌های اشیاء/سطوح بزرگ‌تر و رایج‌تر را نسبت به کلاس‌های اشیاء/سطوح کوچکتر یا کمیاب‌تر پیش‌بینی کند. کلاس ها را می توان در ردیف های کیفی زیر دسته بندی کرد که از بالاتر به پایین تر رتبه بندی می شوند:
| سطوح کیفیت برچسب معنایی | |
|---|---|
| اجزای صحنه اصلی |
|
| جزئیات صحنه اصلی |
|
| جزئیات جزئی صحنه |
|
سازگاری دستگاه
Scene Semantics API فهرستی از دستگاه های پشتیبانی شده مشابه Depth API دارد. لطفاً برای لیست به روز دستگاه هایی که از هر دو API پشتیبانی می کنند، به صفحه دستگاه های پشتیبانی شده ARCore مراجعه کنید.
موارد استفاده پشتیبانی شده
Scene Semantics API برای استفاده در سناریوهای زیر طراحی شده است:
صحنه‌های خارج از منزل : فقط از صحنه‌های بیرونی پشتیبانی می‌کند و برای موارد استفاده در فضای داخلی در نظر گرفته نشده است.
جهت گیری عمودی : فقط باید در حالت جهت گیری پیش فرض دستگاه (یعنی عمودی) استفاده شود. کیفیت برچسب های معنایی برای حالت افقی تضمین نمی شود.