מדריכים ספציפיים לפלטפורמות
Scene Semantics API מאפשר למפתחים להבין את הסביבה שמקיפה את המשתמש, וזה נדרש להרבה חוויות AR באיכות גבוהה. ממשק ה-API של סמנטיקה של סצנות מבוסס על מודל למידת מכונה, ומספק מידע סמנטי בזמן אמת שמתלווה למידע הגיאומטרי הקיים ב-ARCore.
כשנותנים ל-API תמונה של סצנה בחוץ, הוא מחזיר תווית לכל פיקסל מתוך קבוצה של סיווגים סמנטיים שימושיים, כמו שמים, בניין, עץ, כביש, מדרכה, רכב, אדם ועוד. בנוסף לתוויות פיקסלים, Scene Semantics API מציע גם ערכי ביטחון לכל תווית פיקסלים, ודרך קלה להריץ שאילתות לגבי שכיחות התווית בסצנה בחוץ.
משמאל לימין, דוגמאות לתמונה קלט, התמונה הסמנטית של תוויות הפיקסלים ותמונת האמון התואמת:
באמצעות Scene Semantics API, מפתחים יכולים לזהות רכיבים ספציפיים של סצנה, כמו כבישים ושבילים להנחיית משתמשים בעיר לא מוכרת, אנשים וכלי רכב ליצירת חסימות על אובייקטים דינמיים, שמיים ליצירת שקיעה בכל שעה ביום ובניינים כדי לשנות את המראה שלהם ולהצמיד אותם לאובייקטים וירטואליים.
תוויות סמנטיות ואיכות
ממשק Scene Semantics API מספק כמה תוויות, לכל אחת מהן איכות או מהימנות תואמים. באופן כללי, מודל ה-ML יכול לחזות טוב יותר קטגוריות של אובייקטים או משטחים גדולים ונפוצים יותר מאשר קטגוריות של אובייקטים או משטחים קטנים או נדירים יותר. אפשר לקבץ את הכיתות לרמות האיכות הבאות, לפי דירוג מהגבוהה לנמוכה:
| רמות האיכות של תוויות סמנטיות | |
|---|---|
| הרכיבים העיקריים של הסצנה |
|
| פרטים עיקריים של סצנה |
|
| פרטי סצנה משניים |
|
אין לי מכשיר תואם
ל-Scene Semantics API יש את אותה רשימה של מכשירים נתמכים כמו ל-Depth API. בדף מכשירים נתמכים של ARCore מופיעה רשימה עדכנית של מכשירים שתומכים בשני ממשקי ה-API.
תרחישים נתמכים
ה-Scene Semantics API מיועד לשימוש בתרחישים הבאים:
סצינות חוץ: תמיכה בסצינות חוץ בלבד, לא מיועד לתרחישי שימוש בתוך מבנים.
פריסה לאורך: צריך להשתמש בה רק בכיוון ברירת המחדל של המכשיר (כלומר, לאורך). איכות התוויות הסמנטיות לא מובטחת במצב לרוחב.