מדריכים ספציפיים לפלטפורמות
רוב חוויות המציאות הרבודה הן 'בזמן אמת'. כדי ליהנות מהן, המשתמשים צריכים להיות במקום מסוים ובשעה מסוימת, כשהטלפון שלהם מוגדר למצב AR מיוחד ופתוח באפליקציית AR. לדוגמה, אם משתמש רוצה לראות איך ספה ב-AR נראית בסלון שלו, הוא צריך 'להציב' את הספה בסביבה שמוצגת במסך בזמן שהוא נמצא פיזית בחדר.
ב-Recording and Playback API אין צורך ב'זמן אמת', כך שאפשר ליצור חוויות AR שאפשר לצפות בהן בכל מקום ובכל זמן. ב-Recording API נשמרים מקור הווידאו של המצלמה, נתוני IMU או כל מטא-נתון מותאם אישית אחר שבחרתם לשמור בקובץ MP4. לאחר מכן תוכלו להעביר את הסרטונים האלה ל-ARCore דרך Playback API, שיתייחס לקובץ ה-MP4 בדיוק כמו לפיד של סשן בשידור חי. עדיין אפשר להשתמש בסשן מצלמה בשידור חי, אבל בעזרת ה-API החדש הזה, אפליקציות ה-AR יכולות להשתמש בקובץ MP4 שהוקלט מראש במקום בסשן בשידור חי.
גם משתמשי הקצה יכולים ליהנות מהתכונה הזו. לא משנה איפה הם נמצאים בחיים האמיתיים, הם יכולים להציג כל סרטון שצולם באמצעות Recording and Playback API מהגלריה המקורית שלהם ולערוך או להפעיל אובייקטים, אפקטים ומסננים של AR. בעזרת התכונה הזו, המשתמשים יכולים לבצע קניות ב-AR בזמן הנסיעה ברכבת לעבודה או בזמן שהם מתפנקים במיטה.
תרחישים לדוגמה לפיתוח באמצעות Recording and Playback API
באמצעות Recording and Playback API אפשר להתגבר על מגבלות הזמן והמרחב ביצירת אפליקציות AR. ריכזנו כאן כמה דרכים שבהן תוכלו להשתמש בו בפרויקטים שלכם.
מקליטים פעם אחת ובודקים בכל מקום
במקום להגיע פיזית למיקום בכל פעם שרוצים לבדוק תכונה של AR, אפשר לצלם סרטון באמצעות Recording API ואז להפעיל אותו בכל מכשיר תואם. אתם יוצרים חוויה בקניון? אין צורך להיכנס אליו בכל פעם שרוצים לבדוק שינוי. פשוט מתעדים את הביקור פעם אחת, ואז מבצעים שינויים ופיתוח מהנוחות של שולחן העבודה שלכם.
קיצור זמן המחזור
במקום לצלם סרטון לכל מכשיר Android שרוצים לתמוך בו, לכל תרחיש שרוצים לבדוק, אפשר לצלם את הסרטון פעם אחת ולהפעיל אותו במספר מכשירים שונים במהלך שלב המחזור.
הפחתת העומס של בדיקות ידניות בצוותים של הפיתוח
במקום ליצור מערכי נתונים מותאמים אישית לכל תכונה חדשה, תוכלו להשתמש במערכי נתונים שהוקלטו מראש כשאתם משיקים תכונות חדשות שמשלבות עומק או את שיפורי המעקב האחרונים מ-ARCore.
אין לי מכשיר תואם
תצטרכו את ARCore כדי להקליט נתונים באמצעות Recording and Playback API, אבל לא תצטרכו אותו כדי להפעיל אותם. קובצי MP4 שתועדו באמצעות התכונה הזו הם למעשה קובצי וידאו עם נתונים נוספים שאפשר לצפות בהם באמצעות כל נגן וידאו. אפשר לבדוק אותם באמצעות ExoPlayer של Android, או כל נגן תואם שיכול לבצע ניתוק מקודק של קובצי MP4 ולנהל את הנתונים הנוספים שנוספו על ידי ARCore.
איך מתועדים נתוני וידאו ו-AR להפעלה
ARCore שומרת סשנים שהוקלטו בקובצי MP4 במכשיר היעד. הקבצים האלה מכילים כמה טראקים של וידאו ונתונים אחרים. אחרי שמירת הסשנים האלה, תוכלו להורות לאפליקציה להשתמש בנתונים האלה במקום בסשן מצלמה בשידור חי.
מה נכלל בהקלטה?
ARCore מתעד את הנתונים הבאים בסרטון H.264. אפשר לגשת אליו בכל נגן וידאו תואם MP4 שיכול לעבור בין טראקים. הטראק ברזולוציה הגבוהה ביותר הוא הראשון ברשימה כי חלק ממכשירי הווידאו התואמים ל-MP4 מפעילים באופן אוטומטי את הטראק הראשון ברשימה, בלי לאפשר לכם לבחור איזה טראק וידאו להפעיל.
הטראק הראשי של הסרטון (טראק של קובץ האימג' של המעבד)
קובץ הווידאו הראשי מתעד את הסביבה או הסצנה להפעלה במועד מאוחר יותר. כברירת מחדל, ARCore מתעד את תמונת המעבד בגודל 640x480 (VGA) שמשמשת למעקב אחר תנועה כזרם הווידאו הראשי.
ARCore לא מתעד את המרקם של המעבד הגרפי (ברזולוציה גבוהה) שעבר עיבוד במסך כתמונה של המצלמה עם תצוגה שקורצת.
אם רוצים שזרם תמונות ברזולוציה גבוהה יהיה זמין במהלך ההפעלה, צריך להגדיר מצלמה שמספקת תמונה של מעבד ברזולוציה הרצויה. במקרה זה:
- ARCore תבקש גם את תמונת המעבד ברזולוציה 640x480 (VGA) שנדרשת למעקב אחר תנועה, וגם את תמונת המעבד ברזולוציה גבוהה שצוינה בהגדרות המצלמה שהוגדרו.
- צילום של מקור התמונות השני של המעבד עשוי להשפיע על ביצועי האפליקציה, והשפעה זו עשויה להיות שונה במכשירים שונים.
- במהלך ההפעלה, ARCore ישתמש בתמונה ברזולוציה גבוהה של המעבד המרכזי (CPU) שצולמה במהלך הצילום, כטקסטורה של GPU במהלך ההפעלה.
- תמונת המעבד ברזולוציה גבוהה תהפוך לסטרימינג הווידאו שמוגדר כברירת מחדל בהקלטת ה-MP4.
הגדרת המצלמה שנבחרה במהלך הצילום קובעת את התמונה של המעבד ואת מקור הווידאו הראשי בצילום. אם לא בוחרים הגדרת מצלמה עם תמונה של מעבד ברזולוציה גבוהה, הסרטון הזה יהיה הטראק הראשון בקובץ והוא יופעל כברירת מחדל, ללא קשר לנגן הווידאו שבו אתם משתמשים.
המחשה חזותית של מפת עומק המצלמה
זהו קובץ וידאו שמייצג את מפת העומק של המצלמה, שצולם מחומרת חיישן העומק של המכשיר, כמו חיישן זמן תעופה (או חיישן ToF), והומר לערכים של ערוץ RGB. יש להשתמש בסרטון הזה למטרות תצוגה מקדימה בלבד.
אירועי קריאה ל-API
ARCore מתעד מדידות מהחיישנים של הג'ירוסקופ וממד התאוצה במכשיר. הוא מתעד גם נתונים אחרים, שחלקם עשויים להיות רגישים:
- גרסאות של פורמטים של מערכי נתונים
- גרסת ה-SDK של ARCore
- הגרסה של שירותי Google Play למציאות רבודה
- טביעת האצבע של המכשיר (הפלט של
adb shell getprop ro.build.fingerprint) - מידע נוסף על חיישנים המשמשים למעקב אחר AR
- כשמשתמשים ב-ARCore Geospatial API, המיקום המשוער של המכשיר, הקריאות של מגנטומטר והקריאות של מצפן