מבוא להקלטה ולהפעלה

מדריכים ספציפיים לפלטפורמה

Android (Kotlin/Java)

Android NDK (C)

Unity (AR Foundation)

מנוע לא מציאותי

הרוב המכריע של חוויות המציאות הרבודה הן "בזמן אמת". המשתמשים צריכים להיות במקום מסוים בזמן מסוים, כשהטלפון מוגדר במצב AR מיוחד והוא פתוח באפליקציית AR. לדוגמה, אם משתמש רוצה לראות איך ספה AR נראית בסלון, הוא צריך "למקם" את הספה בסביבת המסך בזמן שהוא נמצא פיזית בחדר.

ממשקי ה-API להקלטה ולהפעלה מבטלים את הדרישה הזאת של 'זמן אמת', ומאפשרים לכם ליצור חוויות AR שניתן לצפות בהן בכל מקום ובכל זמן. ממשק ה-API של ההקלטה מאחסן את זרם הווידאו של המצלמה, נתוני IMU או כל מטא-נתונים אחרים בהתאמה אישית שאתם בוחרים לשמור בקובץ MP4. לאחר מכן, תוכלו להזין סרטונים מוקלטים אלה ל-ARCore באמצעות ממשק ה-API של ההפעלה, שיתייחס ל-MP4 בדיוק כמו לפיד של סשן בשידור חי. עדיין תוכלו להשתמש בסשן של מצלמה בשידור חי, אבל עם ה-API החדש הזה, אפליקציות ה-AR שלכם יכולות לבחור להשתמש בקובץ MP4 מוקלט מראש במקום בסשן בשידור חי.

גם משתמשי הקצה יכולים ליהנות מהתכונה הזו. לא משנה איפה הם נמצאים בעולם האמיתי, הם יכולים להעלות כל סרטון שהוקלט באמצעות ממשק ה-API להקלטה ולהפעלה מהגלריה המקורית, ולערוך או להפעיל אובייקטים, אפקטים ופילטרים ב-AR. התכונה הזו מאפשרת למשתמשים לעשות קניות ב-AR בזמן שהם ברכבת ונוסעים למשרד או לנוח במיטה.

תרחישים לדוגמה לפיתוח עם Recording and playing API

ממשקי ה-API להקלטה ולהפעלה מסירים את מגבלות הזמן והמרחב של בניית אפליקציות AR. הנה כמה דרכים שבהן תוכלו להשתמש בה בפרויקטים שלכם.

מקליטים פעם אחת ובודקים בכל מקום

במקום להגיע פיזית למיקום בכל פעם שצריך להתנסות בתכונה AR, אתם יכולים לצלם סרטון באמצעות ממשק ה-API להקלטה ואז להפעיל אותו שוב באמצעות כל מכשיר תואם. בונים חוויה במרכז קניות? אין צורך לעבור לשם בכל פעם שרוצים לבדוק שינוי. פשוט מקליטים את הביקור פעם אחת, ולאחר מכן חוזרים על התהליך ומפתחים אותם בקלות, ישירות בשולחן העבודה.

קיצור זמן האיטרציה

במקום שתצטרכו להקליט סרטון לכל מכשיר Android שבו אתם רוצים לתמוך, תוכלו להקליט את הסרטון פעם אחת ולהפעיל אותו בכמה מכשירים שונים במהלך שלב האיטרציה.

הפחתת נטל הבדיקות הידניות בכל צוותי הפיתוח

במקום ליצור מערכי נתונים מותאמים אישית לכל תכונה חדשה, אפשר להשתמש במערכי נתונים מוקלטים מראש ולהשיק תכונות חדשות שמשלבות עומק או את שיפורי המעקב החדשים ביותר מ-ARCore.

אין לי מכשיר תואם

צריך להשתמש ב-ARCore כדי להקליט נתונים באמצעות ממשק ה-API להקלטה ולהפעלה, אבל לא צריך אותו כדי להפעיל מחדש את התוכן. קובצי MP4 שהוקלטו באמצעות תכונה זו הם למעשה קובצי וידאו עם נתונים נוספים שניתן להציג באמצעות כל נגן וידאו. יש לך אפשרות לבדוק אותם באמצעות ExoPlayer של Android, או כל נגן תואם שיכול גם לדגום קובצי MP4 וגם לנהל את הנתונים הנוספים שנוספו על ידי ARCore.

איך סרטונים ונתוני AR מתועדים להפעלה

טכנולוגיית ARCore שומרת סשנים מוקלטים בקובצי MP4 במכשיר היעד. הקבצים האלה מכילים מספר טראקים של וידאו ונתונים שונים אחרים. אחרי שמירת הסשנים האלה, אפשר לכוון את האפליקציה להשתמש בנתונים האלה במקום בסשן של מצלמה בשידור חי.

מה כלול בהקלטה?

טכנולוגיית ARCore מתעדת את הנתונים הבאים בסרטון H.264. תוכלו לגשת אליה בכל נגן וידאו תואם MP4 שיכול להחליף טראקים. הטראק ברזולוציה הגבוהה ביותר הוא הראשון ברשימה, כי חלק מנגני הווידאו שתואמים ל-MP4 מפעילים באופן אוטומטי את הטראק הראשון ברשימה, בלי לאפשר לכם לבחור איזה טראק וידאו להשמיע.

טראק ראשי של סרטון (תמונה של מעבד [CPU])

קובץ הסרטון הראשי מתעד את הסביבה או הסצנה להפעלה במועד מאוחר יותר. על ידי ברירת המחדל, ARCore מתעדת את התמונה של המעבד (VGA) בגודל 640x480 שמשמשת עבור מעקב אחר תנועה כסרטון הראשי .

ARCore לא לוכד את טקסטורת ה-GPU (ברזולוציה גבוהה) שמעובד במסך בתור תמונה של מצלמת מעבר.

כדי שסטרימינג של תמונה ברזולוציה גבוהה יהיה זמין במהלך ההפעלה, חייבים להגדיר מצלמה שמספקת תמונה של מעבד (CPU) שמגיע לרזולוציה הרצויה. במקרה זה:

  • ARCore יבקש את התמונה של המעבד (CPU) בגודל 640x480 (VGA) שנדרשת בשביל מעקב תנועה ותמונת המעבד (CPU) ברזולוציה הגבוהה שצוינו על ידי הגדרות המצלמה.
  • לכידת הסטרימינג השני של התמונה במעבד (CPU) עשויה להשפיע על ביצועי האפליקציה, וכן מכשירים שונים עשויים להיות מושפעים באופן שונה.
  • במהלך ההפעלה, ARCore ישתמש בתמונת המעבד (CPU) ברזולוציה הגבוהה תועד במהלך ההקלטה באמצעות המרקם של GPU במהלך ההפעלה.
  • התמונה של המעבד (CPU) ברזולוציה הגבוהה תהפוך לברירת המחדל של שידור הווידאו הקלטת MP4.

הגדרת המצלמה שנבחרה במהלך ההקלטה קובעת את תמונת המעבד (CPU) ואת שידור הווידאו הראשי בהקלטה. אם לא תיבחר הגדרת מצלמה עם תמונה ברזולוציה גבוהה של המעבד (CPU), הסרטון הזה יהיה הטראק הראשון בקובץ ויופעל כברירת מחדל, ללא קשר לנגן הווידאו שבו משתמשים.

תצוגה חזותית של עומק המצלמה

זהו קובץ וידאו שמייצג את מפת העומק של המצלמה. הוא מתועד מחיישן העומק של החומרה של המכשיר, כמו חיישן זמן טיסה (או חיישן ToF), ומומר לערכי ערוץ RGB. יש להשתמש בסרטון הזה רק למטרות תצוגה מקדימה.

אירועי קריאה ל-API

טכנולוגיית ARCore מתעדת מדידות מחיישני הגירומטר ומד התאוצה של המכשיר. היא מתעדת גם נתונים אחרים, שחלקם עשויים להיות רגישים:

  • גרסאות פורמט של מערך נתונים
  • גרסת ARCore SDK
  • גרסת Google Play Services למציאות רבודה
  • טביעת אצבע של המכשיר (הפלט של adb shell getprop ro.build.fingerprint)
  • מידע נוסף על החיישנים שמשמשים למעקב AR
  • כשמשתמשים ב-ARCore Geospatial API, המיקום המשוער של המכשיר, קריאות המגנטומטר וקריאות המצפן