מדריכים ספציפיים לפלטפורמה
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
Unreal Engine
הרוב המכריע של חוויות המציאות הרבודה הן "בזמן אמת". המשתמשים צריכים להיות במקום מסוים בזמן מסוים, כשהטלפון מוגדר במצב AR מיוחד והוא פתוח באפליקציית AR. לדוגמה, אם משתמש רוצה לראות איך ספה AR נראית בסלון, הוא צריך "למקם" את הספה בסביבת המסך בזמן שהוא נמצא פיזית בחדר.
ב-Recording and Playback API אין צורך ב'זמן אמת', כך שאפשר ליצור חוויות AR שאפשר לצפות בהן בכל מקום ובכל זמן. ממשק ה-API להקלטה מאחסן את זרם הווידאו של המצלמה, נתוני IMU או כל מטא-נתונים אחרים בהתאמה אישית שבוחרים לשמור בקובץ MP4. לאחר מכן, תוכלו להזין סרטונים מוקלטים אלה ל-ARCore באמצעות Playback API, שיתייחס ל-MP4 בדיוק כמו לפיד של סשן בשידור חי. עדיין תוכלו להשתמש בסשן של מצלמה בשידור חי, אבל עם ה-API החדש הזה, אפליקציות ה-AR שלכם יכולות לבחור להשתמש בקובץ MP4 מוקלט מראש במקום בסשן בשידור חי.
גם משתמשי הקצה יכולים ליהנות מהתכונה הזו. לא משנה איפה הם נמצאים בחיים האמיתיים, הם יכולים להציג כל סרטון שצולם באמצעות Recording and Playback API מהגלריה המקורית שלהם ולערוך או להפעיל אובייקטים, אפקטים ומסננים של AR. התכונה הזו מאפשרת למשתמשים לערוך קניות ב-AR בזמן שהם ברכבת ונוסעים למשרד, או ישנים במיטה.
תרחישים לדוגמה לפיתוח עם Recording and Playback API
ממשקי ה-API להקלטה ולהפעלה מסירים את מגבלות הזמן והמרחב של בניית אפליקציות AR. ריכזנו כאן כמה דרכים שבהן תוכלו להשתמש בו בפרויקטים שלכם.
מקליטים פעם אחת ובודקים בכל מקום
במקום להגיע פיזית למיקום בכל פעם שצריך להתנסות בתכונה AR, אתם יכולים לצלם סרטון באמצעות ממשק ה-API להקלטה ואז להפעיל אותו שוב באמצעות כל מכשיר תואם. אתם יוצרים חוויה בקניון? אין צורך להיכנס אליו בכל פעם שרוצים לבדוק שינוי. פשוט מתעדים את הביקור פעם אחת, ואז מבצעים שינויים ופיתוח מהנוחות של שולחן העבודה שלכם.
קיצור זמן המחזור
במקום שתצטרכו להקליט סרטון לכל מכשיר Android שבו אתם רוצים לתמוך, תוכלו להקליט את הסרטון פעם אחת ולהפעיל אותו בכמה מכשירים שונים במהלך שלב האיטרציה.
הפחתת נטל הבדיקות הידניות בכל צוותי הפיתוח
במקום ליצור מערכי נתונים מותאמים אישית לכל תכונה חדשה, אפשר להשתמש במערכי נתונים מוקלטים מראש ולהשיק תכונות חדשות שמשלבות עומק או את שיפורי המעקב החדשים ביותר מ-ARCore.
אין לי מכשיר תואם
תצטרכו את ARCore כדי להקליט נתונים באמצעות Recording and Playback API, אבל לא תצטרכו אותו כדי להפעיל אותם. קובצי MP4 שהוקלטו באמצעות תכונה זו הם למעשה קובצי וידאו עם נתונים נוספים שניתן להציג באמצעות כל נגן וידאו. אפשר לבדוק אותם באמצעות ExoPlayer של Android, או כל נגן תואם שיכול לבצע ניתוק מקודק של קובצי MP4 ולנהל את הנתונים הנוספים שנוספו על ידי ARCore.
איך סרטונים ונתוני AR מתועדים להפעלה
ARCore שומרת סשנים שהוקלטו בקובצי MP4 במכשיר היעד. הקבצים האלה מכילים מספר טראקים של וידאו ונתונים שונים אחרים. אחרי שמירת הסשנים האלה, אפשר לכוון את האפליקציה להשתמש בנתונים האלה במקום בסשן של מצלמה בשידור חי.
מה מופיע בהקלטה?
ARCore מתעד את הנתונים הבאים בסרטון H.264. תוכלו לגשת אליה בכל נגן וידאו תואם MP4 שיכול להחליף טראקים. הטראק ברזולוציה הגבוהה ביותר הוא הראשון ברשימה כי חלק ממכשירי הווידאו התואמים ל-MP4 מפעילים באופן אוטומטי את הטראק הראשון ברשימה, בלי לאפשר לכם לבחור איזה טראק וידאו להפעיל.
הטראק הראשי של הסרטון (טראק של קובץ האימג' של המעבד)
קובץ הווידאו הראשי מתעד את הסביבה או הסצנה להפעלה במועד מאוחר יותר. כברירת מחדל, ARCore מתעד את תמונת המעבד בגודל 640x480 (VGA) שמשמשת למעקב אחר תנועה כזרם הווידאו הראשי.
ARCore לא מתעד את המרקם של המעבד הגרפי (ברזולוציה גבוהה) שעבר עיבוד במסך כתמונה של המצלמה עם תצוגה שקורצת.
אם רוצים שסטרימינג של תמונה ברזולוציה גבוהה יהיה זמין במהלך ההפעלה, חייבים להגדיר מצלמה שמספקת תמונה של מעבד (CPU) מגיעים לרזולוציה הרצויה. במקרה זה:
- ARCore יבקש את התמונה של המעבד (CPU) בגודל 640x480 (VGA) שנדרשת בשביל מעקב תנועה ותמונת המעבד (CPU) ברזולוציה הגבוהה שצוינו על ידי הגדרות המצלמה.
- לכידת הסטרימינג השני של התמונה במעבד (CPU) עשויה להשפיע על ביצועי האפליקציה, וכן מכשירים שונים עשויים להיות מושפעים באופן שונה.
- במהלך ההפעלה, ARCore ישתמש בתמונת המעבד (CPU) ברזולוציה הגבוהה תועד במהלך ההקלטה באמצעות המרקם של GPU במהלך ההפעלה.
- התמונה של המעבד (CPU) ברזולוציה הגבוהה תהפוך לברירת המחדל של שידור הווידאו הקלטת MP4.
הגדרת המצלמה שנבחרה במהלך הצילום קובעת את התמונה של המעבד ואת מקור הווידאו הראשי בצילום. אם לא בוחרים הגדרת מצלמה עם תמונה של מעבד ברזולוציה גבוהה, הסרטון הזה יהיה הטראק הראשון בקובץ והוא יופעל כברירת מחדל, ללא קשר לנגן הווידאו שבו אתם משתמשים.
תצוגה חזותית של עומק המצלמה
זהו קובץ וידאו שמייצג את מפת העומק של המצלמה, שצולם מחומרת חיישן העומק של המכשיר, כמו חיישן זמן תעופה (או חיישן ToF), והומר לערכים של ערוץ RGB. יש להשתמש בסרטון הזה רק למטרות תצוגה מקדימה.
אירועי קריאה ל-API
ARCore מתעד מדידות מהחיישנים של הג'ירוסקופ וממד התאוצה של המכשיר. הוא מתעד גם נתונים אחרים, שחלקם עשויים להיות רגישים:
- גרסאות של פורמטים של מערכי נתונים
- גרסת ARCore SDK
- גרסת Google Play Services למציאות רבודה
- טביעת האצבע של המכשיר (הפלט של
adb shell getprop ro.build.fingerprint) - מידע נוסף על החיישנים שמשמשים למעקב AR
- כשמשתמשים ב-ARCore Geospatial API, המיקום המשוער של המכשיר, הקריאות של מגנטומטר והקריאות של מצפן