מדריכים ספציפיים לפלטפורמות
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
ה-Sene Semantics API מאפשר למפתחים להבין את הסצנה סביב המשתמש, שנדרשת להרבה חוויות AR באיכות גבוהה. ממשק ה-API של סמנטיקה של סצנות מבוסס על מודל למידת מכונה, ומספק מידע סמנטי בזמן אמת שמתלווה למידע הגיאומטרי הקיים ב-ARCore.
כשנותנים ל-API תמונה של סצנה בחוץ, הוא מחזיר תווית לכל פיקסל מתוך קבוצה של סיווגים סמנטיים שימושיים, כמו שמיים, בניין, עץ, כביש, מדרכה, רכב, אדם ועוד. בנוסף לתוויות פיקסלים, Scene Semantics API מציע גם ערכי ביטחון לכל תווית פיקסלים, ודרך קלה להריץ שאילתות לגבי שכיחות התווית בסצנה בחוץ.
משמאל לימין, דוגמאות לתמונה קלט, התמונה הסמנטית של תוויות הפיקסלים ותמונת האמון התואמת:
באמצעות Scene Semantics API, מפתחים יכולים לזהות רכיבים ספציפיים של סצנה, כמו כבישים ומדרכות, כדי לעזור להם לכוון את המשתמש בעיר לא מוכרת, אנשים וכלי רכב כדי ליצור חסימות על עצמים דינמיים, כדי ליצור שמיים מלאי שקיעה בכל שעות היום ובניינים כדי לשנות את המראה שלהם ולעגן אובייקטים וירטואליים.
תוויות סמנטיות ואיכות
ב-Scene Semantics API יש כמה תוויות, לכל אחת מהן איכות או מהימנות תואמים. באופן כללי, מודל למידת המכונה יכול לחזות טוב יותר סיווגים של עצמים/משטחים גדולים ונפוצים יותר מאשר סיווגים של עצמים/שטחים קטנים או נדירים יותר. אפשר לקבץ את הכיתות לפי רמות האיכות הבאות, מהגבוה לנמוך:
| רמות האיכות של תוויות סמנטיות | |
|---|---|
| הרכיבים העיקריים של הסצנה |
|
| פרטים על הסצנה הראשית |
|
| פרטי סצנה משניים |
|
אין לי מכשיר תואם
ל-Scene Semantics API יש את אותה רשימה של מכשירים נתמכים כמו ל-Depth API. בדף מכשירים נתמכים של ARCore מופיעה רשימה עדכנית של מכשירים שתומכים בשני ממשקי ה-API.
תרחישים נתמכים
ה-Scene Semantics API מיועד לשימוש בתרחישים הבאים:
סצנות חוץ: מיועדת רק לסצנות בחוץ, ולא מיועדת לשימוש במקומות סגורים.
כיוון לאורך: יש להשתמש בפורמט הזה רק בפריסה לאורך כברירת מחדל (כלומר לאורך). איכות התוויות הסמנטיות לא מובטחת במצב לרוחב.