מבוא להקלטה ולהפעלה

מדריכים ספציפיים לפלטפורמה

Android (Kotlin/Java)

Android NDK (C)

Unity (קרן AR)

מנוע Unreal

הרוב המכריע של חוויות המציאות הרבודה מתרחש 'בזמן אמת'. הם דורשים מהמשתמשים להיות במקום מסוים ובזמן מסוים, כשהטלפון מוגדר במצב AR מיוחד ונפתח לאפליקציית AR. לדוגמה, אם משתמש רוצה לראות איך נראית ספה במציאות רבודה בסלון, הוא צריך 'להציב' את הספה בסביבה שבמסך בזמן שהם נמצאים פיזית בחדר.

הדרישה הזו 'בזמן אמת' נעלמת מה-API של ההקלטה וההפעלה מחדש ומאפשרת ליצור חוויות AR שאפשר לצפות בהן בכל מקום ובכל זמן. ה-הקלטה של ה-API מאחסן את זרם הווידאו של המצלמה, נתוני IMU או כל מטא-נתונים מותאמים אישית אחרים שבחרתם לשמור בקובץ MP4. לאחר מכן תוכלו להזין את הסרטונים המוקלטים האלה ל-ARCore דרך Playback API, שיתייחס ל-MP4 בדיוק כמו אל פיד סשנים בשידור חי. עדיין אפשר להשתמש בסשן מצלמה בשידור חי, אבל עם ה-API החדש הזה, אפליקציות ה-AR יוכלו להשתמש ב-MP4 שהוקלט מראש במקום בסשן החי.

גם משתמשי הקצה יכולים ליהנות מהתכונה הזו. בכל מקום שבו הם נמצאים בעולם האמיתי, הם יכולים לשלוף כל סרטון שהוקלט באמצעות ממשק ה-API להקלטה ולהפעלה מהגלריה המקומית שלהם ולערוך או להפעיל אובייקטים, אפקטים ופילטרים ב-AR או להפעיל אותם. בעזרת התכונה הזו, המשתמשים יכולים לערוך קניות AR בזמן נסיעה ברכבת למשרד או במיטה.

תרחישים לדוגמה לפיתוח עם ה-API של ההקלטה וההפעלה

ממשק ה-API להקלטה ולהפעלה מבטל את מגבלות הזמן והמרחב שנובעות מבניית אפליקציות AR. הנה כמה דרכים שבהן תוכלו להשתמש בו בפרויקטים שלכם.

מקליטים פעם אחת, בודקים בכל מקום

במקום להגיע פיזית למיקום בכל פעם שאתם צריכים לבדוק תכונת AR, אתם יכולים לצלם סרטון באמצעות ממשק ה-API של ההקלטה ואז להפעיל אותו בכל מכשיר תואם. יוצרים חוויה במרכז קניות? אין צורך לגשת לשם בכל פעם שרוצים לבדוק שינוי. פשוט מתעדים את הביקור פעם אחת ולאחר מכן איטרציה והתפתחויות מתוך שולחן העבודה שלכם.

לקצר את זמן החזרה

במקום לצלם סרטון בכל מכשיר Android שבו אתם רוצים לתמוך, תוכלו להקליט את הסרטון פעם אחת בכל תרחיש שתרצו לבדוק, ואז להפעיל אותו בכמה מכשירים שונים.

הפחתת נטל הבדיקה הידנית על צוותי הפיתוח

במקום ליצור מערכי נתונים בהתאמה אישית לכל תכונה חדשה, תוכלו להשתמש במערכי נתונים שהוקלטו מראש ולהשיק תכונות חדשות שמשלבות עומק או את שיפורי המעקב האחרונים מ-ARCore.

אין לי מכשיר תואם

כדי להקליט נתונים צריך להשתמש ב-ARCore באמצעות ממשק ה-API להקלטה ולהפעלה, אבל לא יהיה צורך בו כדי להפעיל תכנים שוב. קובצי MP4 שהוקלטו באמצעות התכונה הזו הם למעשה קובצי וידאו עם נתונים נוספים שניתן להציג באמצעות כל נגן וידאו. אפשר לבדוק את המשחקים באמצעות ExoPlayer של Android, או כל נגן תואם שיכול להפעיל גם demux MP4 ולנהל את הנתונים הנוספים ש-ARCore מוסיף.

איך מתועדים נתוני AR וסרטון לצורך הפעלה

ב-ARCore נשמרים ביקורים מוקלטים בקובצי MP4 במכשיר היעד. הקבצים האלה מכילים טראקים רבים של סרטונים ונתונים שונים אחרים. אחרי שהסשנים האלה יישמרו, תוכלו לכוון את האפליקציה לשימוש בנתונים האלה במקום סשן מצלמה בשידור חי.

מה תוכן ההקלטה?

ARCore מתעדת את הנתונים הבאים בסרטון H.264. ניתן לגשת אליה מכל נגן וידאו תואם MP4 שיכול להחליף טראקים. הטראק ברזולוציה הגבוהה ביותר הוא הראשון ברשימה, בגלל שנגני וידאו מסוימים שתואמים ל-MP4 מפעילים באופן אוטומטי את הטראק הראשון ברשימה בלי לאפשר לכם לבחור איזה טראק וידאו להפעיל.

טראק ראשי של הסרטון (רצועת תמונה של יחידת עיבוד מרכזית (CPU))

קובץ הסרטון הראשי מתעד את הסביבה או את הסצנה להפעלה במועד מאוחר יותר. כברירת מחדל, המערכת של ARCore מתעדת את התמונה של המעבד (CPU) בגודל 640x480 (VGA) שמשמשת למעקב אחר תנועה בתור שידור הווידאו הראשי.

ARCore לא מתעדת את טקסטורת ה-GPU (ברזולוציה גבוהה) שעבר רינדור במסך בתור תמונת המעבר של המצלמה.

אם אתם רוצים שיהיה אפשר לצפות בשידור תמונות ברזולוציה גבוהה במהלך ההפעלה, אתם צריכים להגדיר מצלמה שמספקת תמונת CPU ברזולוציה הרצויה. במקרה זה:

  • ARCore יבקש גם את תמונת המעבד (CPU) בגודל 640x480 (VGA) שנדרשת למעקב אחר תנועה וגם את התמונה של המעבד (CPU) ברזולוציה הגבוהה שצוינה בהגדרות המצלמה שהוגדרו.
  • צילום זרם התמונה השני של המעבד (CPU) עשוי להשפיע על ביצועי האפליקציות, ומכשירים שונים עשויים להיות מושפעים בצורה שונה.
  • במהלך ההפעלה, ב-ARCore ייעשה שימוש בתמונה של יחידת העיבוד המרכזית (CPU) ברזולוציה הגבוהה שצולמה במהלך ההקלטה, בתור מרקם ה-GPU במהלך ההפעלה.
  • התמונה של המעבד (CPU) ברזולוציה הגבוהה תהפוך לברירת המחדל של זרם הווידאו בהקלטת MP4.

הגדרת המצלמה שנבחרה במהלך ההקלטה תקבע את התמונה במעבד (CPU) ואת שידור הווידאו הראשי בהקלטה. אם לא תבחר הגדרת מצלמה עם תמונה של יחידת עיבוד מרכזית (CPU) ברזולוציה גבוהה, הסרטון הזה יהיה הטראק הראשון בקובץ ויופעל כברירת מחדל, ללא קשר לנגן הווידאו שמשמש אותך.

ויזואליזציה של מפה של עומק המצלמה

זהו קובץ וידאו שמייצג את מפת העומק של המצלמה, שתועד מחיישן העומק של החומרה של המכשיר, כמו חיישן זמן טיסה (או חיישן ToF), והומר לערכי ערוץ RGB. יש להשתמש בסרטון הזה למטרות תצוגה מקדימה בלבד.

אירועי קריאה ל-API

ARCore מתעדת מדידות מחיישני הג'ירומטר ומד התאוצה של המכשיר. הוא מתעד גם נתונים אחרים, שחלקם עשויים להיות רגישים:

  • גרסאות פורמט של מערך נתונים
  • גרסת ARCore SDK
  • גרסת AR של שירותי Google Play
  • טביעת האצבע של המכשיר (הפלט של adb shell getprop ro.build.fingerprint)
  • מידע נוסף על חיישנים שמשמשים למעקב AR
  • כשמשתמשים ב-ARCore Geospatial API, המיקום המשוער של המכשיר, קריאות המגנטומטר וקריאות המצפן