מדריכים ספציפיים לפלטפורמה
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
ה-Sene Semantics API מאפשר למפתחים להבין את הסצנה סביב המשתמש, שנדרשת להרבה חוויות AR באיכות גבוהה. Scene Semantics API מבוסס על מודל למידת מכונה, ומספק מידע סמנטי בזמן אמת, שמשלים מידע גיאומטרי קיים ב-ARCore.
בהינתן תמונה של סצנה בחוץ, ה-API מחזיר תווית לכל פיקסל על פני קבוצה של סיווגים סמנטיים שימושיים, כמו שמיים, בניין, עץ, כביש, מדרכה, רכב, אדם ועוד. בנוסף לתוויות פיקסלים, ה-Sene Semantics API מציע גם ערכי מהימנות לכל תווית של פיקסל ודרך קלה לשימוש להריץ שאילתות על השכיחות של תווית נתונה בסביבה בחוץ.
דוגמאות של תמונת קלט, התמונה הסמנטית של תוויות הפיקסלים ותמונת הסמך המתאימה: משמאל לימין:
באמצעות Scene Semantics API, מפתחים יכולים לזהות רכיבים ספציפיים של סצנה, כמו כבישים ומדרכות, כדי לעזור להם לכוון את המשתמש בעיר לא מוכרת, אנשים וכלי רכב כדי ליצור חסימות על עצמים דינמיים, על השמיים כדי ליצור שקיעה בכל שעות היום ובניינים כדי לשנות את המראה שלהם ולעגן אובייקטים וירטואליים.
תוויות סמנטיות ואיכות
Scene Semantics API מספק כמה תוויות, כל אחת עם איכות או אמינות מתאימות. באופן כללי, מודל למידת המכונה יכול לחזות טוב יותר סיווגים של עצמים/משטחים גדולים ונפוצים יותר מאשר סיווגים של עצמים/שטחים קטנים או נדירים יותר. אפשר לקבץ את הכיתות לפי רמות האיכות הבאות, מהגבוה לנמוך:
| רמות איכות סמנטיות של התוויות | |
|---|---|
| הרכיבים העיקריים של הסצנה |
|
| פרטים על הסצנה הראשית |
|
| פרטי הסצנה המשנית |
|
אין לי מכשיר תואם
ל-Sene Semantics API יש את אותה רשימה של מכשירים נתמכים כמו Depth API. רשימה עדכנית של המכשירים שתומכים בשני ממשקי ה-API זמינה בדף מכשירים נתמכים ב-ARCore.
תרחישים נתמכים לדוגמה
Scene Semantics API מיועד לשימוש בתרחישים הבאים:
סצנות חוץ: מיועדת רק לסצנות בחוץ, ולא מיועדת לשימוש במקומות סגורים.
כיוון לאורך: יש להשתמש בפריסה לאורך כברירת המחדל של המכשיר (כלומר לאורך). האיכות של התוויות הסמנטיות לא מובטחת בפריסה לרוחב.