Guide specifiche per piattaforma
Android (Kotlin/Java)
Android NDK (C)
Unity (Fondazione AR)
Unreal Engine
Una parte fondamentale per creare esperienze AR realistiche è la giusta illuminazione. Quando a un oggetto virtuale manca un'ombra o ha un materiale lucido che non riflette lo spazio circostante, gli utenti possono percepire che l'oggetto non si adatta perfettamente, anche se non sono in grado di spiegarne il motivo. Questo perché gli esseri umani percepiscono inconsapevolmente dei segnali relativi a come gli oggetti vengono illuminati nel loro ambiente. L'API Lighting Estimation analizza determinate immagini alla ricerca di tali segnali, fornendo informazioni dettagliate sull'illuminazione di una scena. Puoi quindi utilizzare queste informazioni durante il rendering degli oggetti virtuali per illuminarli nelle stesse condizioni della scena in cui sono posizionati, mantenendo gli utenti coinvolti e coinvolti.
Segnali luminosi
L'API Lighting Estimation fornisce dati dettagliati che ti consentono di imitare vari segnali luminosi durante il rendering di oggetti virtuali. Questi segnali sono ombre, luce ambientale, ombreggiatura, alte luci speculari e riflessi.
Ombre
Le ombre sono spesso direzionali e indicano agli spettatori da dove provengono le fonti di luce.
Luce ambientale
La luce ambientale è la luce diffusa generale che proviene dall'ambiente circostante, rendendo tutto visibile.
Ombreggiatura
L'ombreggiatura è l'intensità della luce. Ad esempio, diverse parti dello stesso oggetto possono avere diversi livelli di ombreggiatura nella stessa scena, a seconda dell'angolazione rispetto allo spettatore e della sua vicinanza a una fonte di luce.
Punti salienti speculari
Le alte luci speculari sono le parti lucide delle superfici che riflettono direttamente una fonte di luce. Le evidenziazioni su un oggetto cambiano rispetto alla posizione dello spettatore in una scena.
Stati d'animo
La luce rimbalza dalle superfici in modo diverso a seconda che la superficie abbia proprietà speculari (altamente riflettenti) o diffusa (non riflettente). Ad esempio, una sfera metallica sarà altamente speculare e rifletterà l'ambiente, mentre un'altra pallina dipinta di grigio opaco opaco sarà diffusa. La maggior parte degli oggetti del mondo reale ha una combinazione di queste caratteristiche: come una palla da bowling rovinata o una carta di credito ben utilizzata.
Anche le superfici riflettenti prendono i colori dell'ambiente circostante. La colorazione di un oggetto può essere direttamente influenzata dalla colorazione dell'ambiente circostante. Ad esempio, una pallina bianca in una stanza blu assumerà una tonalità bluastra.
Modalità HDR ambientale
Queste modalità consistono di API separate che consentono una stima granulare e realistica dell'illuminazione per luci direzionale, ombre, alte luci speculari e riflessi.
La modalità HDR ambientale utilizza il machine learning per analizzare le immagini della fotocamera in tempo reale e sintetizzare l'illuminazione ambientale per supportare un rendering realistico degli oggetti virtuali.
Questa modalità di stima dell'illuminazione fornisce:
Luce direzionale principale. Rappresenta la fonte di luce principale. Può essere utilizzato per proiettare ombre.
Armoniche sferiche ambientali. Rappresenta l'energia della luce ambientale rimanente nella scena.
Una mappa cubica HDR. Può essere utilizzato per rappresentare i riflessi su oggetti metallici lucidi.
Puoi utilizzare queste API in diverse combinazioni, ma sono progettate per essere usate insieme per ottenere un effetto più realistico.
Luce direzionale principale
L'API principale della luce direzionale calcola la direzione e l'intensità della fonte di luce principale della scena. Queste informazioni consentono agli oggetti virtuali nella scena di mostrare alte luci speculari ragionevolmente posizionate e di proiettare le ombre in una direzione coerente con quella di altri oggetti reali visibili.
Per capire come funziona, considera queste due immagini dello stesso razzo virtuale. Nell'immagine a sinistra, c'è un'ombra sotto il razzo, ma la direzione non corrisponde alle altre ombre nella scena. Nel razzo a destra, l'ombra punta nella direzione corretta. Si tratta di una differenza sottile ma importante, che fonda il razzo nella scena perché la direzione e l'intensità dell'ombra si adattano meglio alle altre ombre della scena.
Quando la fonte di luce principale o un oggetto illuminato è in movimento, l'evidenziazione speculare sull'oggetto regola la sua posizione in tempo reale rispetto alla fonte di luce.
Anche le ombre direzionali regolano la loro lunghezza e direzione rispetto alla posizione della fonte di luce principale, proprio come nel mondo reale. Per illustrare questo effetto, prendiamo in considerazione questi due manichini, uno virtuale e l'altro reale. Il manichino a sinistra è quello virtuale.
Armoniche sferiche ambientali
Oltre all'energia luminosa della luce direzionale principale, ARCore fornisce armonici sferici, che rappresentano la luce ambientale complessiva proveniente da tutte le direzioni della scena. Usa queste informazioni durante il rendering per aggiungere indicazioni che mettono in risalto la definizione di oggetti virtuali.
Considera queste due immagini dello stesso modello di razzo. Il razzo a sinistra viene visualizzato utilizzando le informazioni sulla stima dell'illuminazione rilevate dall'API direzionale principale. Il razzo sulla destra viene visualizzato utilizzando le informazioni rilevate sia dalla luce di direzione principale sia dalle API delle armoniche sferiche ambientali. Il secondo razzo ha una definizione visiva più chiara e si fonde in modo più fluido con la scena.
Mappa cubica HDR
Utilizza la mappa cubica HDR per realizzare riflessi realistici su oggetti virtuali con una lucentezza da media ad elevata, ad esempio superfici metalliche lucide. La mappa cubica influisce anche sull'ombreggiatura e sull'aspetto degli oggetti. Ad esempio, il materiale di un oggetto speculare circondato da un ambiente blu rifletterà le tonalità del blu. Il calcolo della mappa cubica HDR richiede una piccola quantità di calcolo aggiuntivo della CPU.
L'uso della mappa cubica HDR dipende da come un oggetto riflette l'ambiente circostante. Poiché il razzo virtuale è metallico, ha una forte componente speculare che riflette direttamente l'ambiente circostante. Di conseguenza, trae vantaggio dalla mappa cubica. D'altra parte, un oggetto virtuale con un materiale grigio opaco opaco non ha una componente speculare. Il suo colore dipende principalmente dal componente diffuso e non trarrebbe vantaggio da una mappa cubica.
Tutte e tre le API Environmental HDR sono state utilizzate per eseguire il rendering del razzo sottostante. La mappa cubica HDR attiva segnali riflettenti ed evidenzia ulteriormente che l'oggetto è ben visibile nella scena.
Ecco lo stesso modello di razzo in ambienti con luci diverse. Tutte queste scene sono state visualizzate utilizzando le informazioni delle tre API, con ombre direzionali applicate.
Modalità intensità ambiente
La modalità Intensità Ambient determina l'intensità media dei pixel e i valori scalari di correzione del colore per una data immagine. Si tratta di un'ambientazione approssimativa pensata per i casi d'uso in cui un'illuminazione precisa non è fondamentale, ad esempio oggetti con illuminazione integrata.
Intensità pixel
Cattura l'intensità media dei pixel dell'illuminazione di una scena. Puoi applicare questa illuminazione a un intero oggetto virtuale.
Colore
Rileva il bilanciamento del bianco per ogni singolo frame. Puoi quindi correggere il colore di un oggetto virtuale in modo che si integri in modo più uniforme nella colorazione complessiva della scena.
probe di ambiente
I probe di ambiente organizzano le visualizzazioni a 360° delle videocamere in texture dell'ambiente, ad esempio le mappe cubiche. Queste texture possono quindi essere utilizzate per illuminare in modo realistico oggetti virtuali, come una sfera di metallo virtuale che "riflette" la stanza in cui si trova.