מדריכים ספציפיים לפלטפורמות
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
Unreal Engine
אחד הגורמים החשובים ביותר ליצירת חוויות AR מציאותיות הוא תאורה נכונה. אם לאובייקט וירטואלי חסר צל או שהוא עשוי מחומר מבריק שלא משקף את המרחב שמסביב, המשתמשים יכולים לחוש שהאובייקט לא ממש מתאים, גם אם הם לא יכולים להסביר למה. הסיבה לכך היא שבני אדם תופסים באופן לא מודע רמזים לגבי אופן התאורה של אובייקטים בסביבה שלהם. Lighting Estimation API מנתח תמונות נתונות כדי לזהות רמזים כאלה, ומספק מידע מפורט על התאורה בסצנה. לאחר מכן תוכלו להשתמש במידע הזה כשאתם מבצעים עיבוד (רנדרינג) של אובייקטים וירטואליים כדי להאיר אותם באותם תנאים כמו הסצנה שבה הם ממוקמים, וכך לשמור על תחושת מציאותיות ולהגביר את רמת ההתעניינות של המשתמשים.
איתותים לתאורה
Lighting Estimation API מספק נתונים מפורטים שמאפשרים לחקות אותות תאורה שונים כשמריצים רינדור של אובייקטים וירטואליים. האותות האלה הם צללים, תאורה סביבתית, הצללה, כתמים בהירים של אור שמש והשתקפויות.
אזורים כהים
לעתים קרובות, הצללים הם בכיוון מסוים ומאפשרים לצופים לדעת מאיפה מגיעים מקורות האור.
אור מהסביבה
תאורה סביבתית היא האור המפוזר הכולל שנכנס מהסביבה ומאפשר לראות את כל מה שרוצים.
הצללה
הצללה היא עוצמת האור. לדוגמה, לחלקים שונים של אותו אובייקט יכולות להיות רמות שונות של צללים באותה סצנה, בהתאם לזווית ביחס לצופה ולקרבה שלו למקור אור.
רפליקות
נקודות אור רפלקטיביות הן החלקים המבריקים במשטחים שמשקפים ישירות מקור אור. ההדגשות על אובייקט משתנות בהתאם למיקום של הצופה בסצנה.
רגעים מהחיים
האור ניתז מהמשטחים באופן שונה בהתאם לתכונות של המשטח – תכונות רפלקטיבית (רפלקטיביות גבוהה) או תכונות דפוס (לא רפלקטיביות). לדוגמה, כדור מתכתי יהיה בעל חזות מבריקה מאוד וישקף את הסביבה שלו, בעוד שכדור אחר שצבוע באפור מט דהוי יהיה מפוזר. לרוב החפצים בעולם האמיתי יש שילוב של המאפיינים האלה – למשל, כדור באולינג שרואים בו שריטות או כרטיס אשראי שנעשה בו שימוש רב.
משטחים עם השתקפויות גם מקבלים צבעים מהסביבה. צבע האובייקט יכול להיות מושפע ישירות מצבע הסביבה שלו. לדוגמה, כדור לבן בחדר כחול יקבל גוון כחלחל.
מצב HDR סביבתי
המצבים האלה מורכבים מממשקי API נפרדים שמאפשרים הערכת תאורה מפורטת וריאליסטית של תאורה כיוונית, צללים, כתמים בהירים של אור שמש והשתקפויות.
במצב HDR סביבתי, למידת המכונה מנתחת את התמונות מהמצלמה בזמן אמת ומבצעת סינתזה של התאורה הסביבתית כדי לתמוך ברינדור ריאליסטי של אובייקטים וירטואליים.
מצב האומדן הזה של התאורה מספק:
נורית כיוון ראשית. מייצג את מקור האור הראשי. אפשר להשתמש בהם כדי ליצור צללים.
הרמוניות כדוריות של אווירה. מייצג את האנרגיה הנותרת של האור הסביבתי בסצנה.
מַפְת 立方体 (cubemap) של HDR. אפשר להשתמש בהם כדי ליצור שיקוף באובייקטים מבריקים ממתכת.
אפשר להשתמש בממשקי ה-API האלה בשילובים שונים, אבל הם מיועדים לשימוש יחד כדי ליצור את האפקט הכי ריאליסטי.
תאורת כיוון ראשית
ה-API של תאורת הכיוון הראשית מחשב את הכיוון והעוצמה של מקור התאורה הראשי בסצנה. המידע הזה מאפשר להציג באובייקטים וירטואליים בסצנה אזורים בהירים של פני השטח (specular highlights) במיקום סביר, ולהטיל צללים בכיוון שתואם לאובייקטים אמיתיים אחרים שגלויים.
כדי להבין איך זה עובד, נבחן את שתי התמונות הבאות של אותה רקטה וירטואלית. בתמונה שבצד ימין יש צל מתחת לרקטה, אבל הכיוון שלו לא תואם לכיוון של הצללים האחרים בסצנה. ברקטה שמשמאל, הצל מצביעים בכיוון הנכון. זהו הבדל עדין אבל חשוב, והוא מאפשר להציב את הרקטה בסצנה כי הכיוון והעוצמה של הצל שלה תואמים יותר לצללים אחרים בסצנה.
כשמקור האור הראשי או אובייקט מואר נמצאים בתנועה, האזור הבהיר של החזרה ספקולרית על האובייקט משתנה בזמן אמת ביחס למקור האור.
גם האורך והכיוון של צללים כיווניים משתנים בהתאם למיקום של מקור האור הראשי, בדיוק כמו בעולם האמיתי. כדי להמחיש את האפקט הזה, נבחן את שני הדגמים האלה, אחד וירטואלי והשני אמיתי. הדמות הווירטואלית היא הדמות שמשמאל.
הרמוניות סגליות של סביבה
בנוסף לאנרגיית האור של האור הראשי המכוון, ARCore מספקת הרמוניות כדוריות שמייצגות את תאורת הסביבה הכוללת שמגיעה מכל הכיוונים בסצנה. אפשר להשתמש במידע הזה במהלך העיבוד כדי להוסיף רמזים עדינים שמדגישים את ההגדרה של אובייקטים וירטואליים.
אלה שתי תמונות של אותו דגם של טיל. הרקטה בצד ימין עוברת עיבוד באמצעות מידע על אומדני התאורה שזוהה על ידי ממשק ה-API הראשי של תאורת הכיוון. הרקטה מימין עוברת עיבוד באמצעות מידע שזוהה גם על ידי תאורת הכיוון הראשית וגם על ידי ממשקי ה-API של הרמוניות כדוריות סביבתיות. ברור שהרקטה השנייה מופיעה בצורה ברורה יותר, והיא משתלבת בצורה חלקה יותר בסצנה.
מפת קוביות HDR
אפשר להשתמש במפה של קוביית HDR כדי ליצור עיבוד גרפי של השתקפויות מציאותיות על אובייקטים וירטואליים עם רמת ברק בינונית עד גבוהה, כמו משטחים מתכתיים מבריקים. מפת הקוביות משפיעה גם על הצללה ועל המראה של אובייקטים. לדוגמה, החומר של אובייקט מבריק מוקף בסביבה כחולה ישקף גוונים כחולים. חישוב מפת הקוביות של HDR דורש כמות קטנה של חישובים נוספים במעבד.
כדאי להשתמש במפה של קוביית HDR בהתאם לאופן שבו האובייקט משקף את הסביבה שלו. מכיוון שהרקטה הווירטואלית היא מתכתית, יש לה רכיב חזק של רפליקציה שמשקף ישירות את הסביבה שמסביב לה. לכן, הוא נהנה מהיתרונות של מפת הקוביות. לעומת זאת, לאובייקט וירטואלי עם חומר מאט אפור עמום אין רכיב רפלקטיבי בכלל. הצבע שלו תלוי בעיקר ברכיב ההתפזרות, והוא לא ייהנה מ-cubemap.
כל שלושת ממשקי ה-API של HDR סביבתי שימשו לעיבוד הגרפי של הרקטה שבהמשך. מפת הקוביות ב-HDR מאפשרת להציג את האותות של ההשתקפות ולהדגיש עוד יותר את האובייקט בסביבה.
זהו אותו מודל של טיל בסביבות שונות עם תאורה שונה. כל הסצנות האלה עובדו באמצעות מידע משלושת ממשקי ה-API, עם הצללות כיווניות.
מצב רגישות לסביבה
מצב 'עוצמה של תאורת אווירה' קובע את עוצמת הפיקסלים הממוצעת ואת המכפילים של תיקון הצבע בתמונה נתונה. זוהי הגדרה גסה שמיועדת לתרחישי שימוש שבהם תאורה מדויקת לא קריטית, כמו אובייקטים עם תאורה מובנית.
עוצמת הפיקסלים
תיעוד עוצמת הפיקסלים הממוצעת של התאורה בסצינה. אפשר להחיל את התאורה הזו על אובייקט וירטואלי שלם.
צבע
זיהוי של איזון הלבן בכל פריים בנפרד. לאחר מכן תוכלו לבצע תיקון צבע של אובייקט וירטואלי כדי שישתלב בצורה חלקה יותר בצביעה הכוללת של הסצנה.
בדיקות סביבה
סנסורים לסביבה מארגנים תצוגות מצלמה של 360 מעלות בטקסטורות של סביבה, כמו מפות קוביות. לאחר מכן אפשר להשתמש במרקמים האלה כדי להאיר אובייקטים וירטואליים באופן ריאליסטי, כמו כדור מתכת וירטואלי ש"משקף" את החדר שבו הוא נמצא.