Guides spécifiques à la plate-forme
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
Unreal Engine
Pour créer des expériences de RA réalistes, il est essentiel de bien régler l'éclairage. Lorsqu'une ombre manque à un objet virtuel ou qu'il est composé d'un matériau brillant qui ne reflète pas l'espace environnant, les utilisateurs peuvent sentir que l'objet ne s'intègre pas tout à fait, même s'ils ne peuvent pas expliquer pourquoi. En effet, les humains perçoivent inconsciemment des indices sur la façon dont les objets sont éclairés dans leur environnement. L'API d'estimation de l'éclairage analyse les images données pour détecter ces indices et fournit des informations détaillées sur l'éclairage d'une scène. Vous pouvez ensuite utiliser ces informations lors du rendu d'objets virtuels pour les éclairer dans les mêmes conditions que la scène dans laquelle ils sont placés, ce qui permet de garder les utilisateurs ancrés dans la réalité et engagés.
Signaux d'éclairage
L'API Lighting Estimation fournit des données détaillées qui vous permettent de reproduire différents indices d'éclairage lors du rendu d'objets virtuels. Il s'agit des ombres, de l'éclairage ambiant, des ombres portées, des reflets spéculaires et des reflets.
Ombres
Les ombres sont souvent orientées et indiquent aux spectateurs d'où viennent les sources lumineuses.
Lumière ambiante
La luminosité ambiante est la lumière diffuse globale qui provient de l'environnement, ce qui rend tout visible.
Ombrage
L'ombre est l'intensité de la lumière. Par exemple, différentes parties d'un même objet peuvent présenter différents niveaux d'ombre dans une même scène, en fonction de l'angle par rapport au spectateur et de la proximité d'une source de lumière.
Points forts de la lumière spéculaire
Les reflets spéculaires sont les parties brillantes des surfaces qui reflètent directement une source de lumière. Les points forts d'un objet changent en fonction de la position d'un spectateur dans une scène.
Humeur
La lumière rebondit différemment sur les surfaces selon qu'elles présentent des propriétés spéculaires (très réfléchisantes) ou diffuses (non réfléchisantes). Par exemple, une boule métallique sera très spéculaire et reflétera son environnement, tandis qu'une autre boule peinte en gris mat terne sera diffuse. La plupart des objets du monde réel présentent une combinaison de ces propriétés. Pensez à une boule de bowling éraflée ou à une carte de crédit bien utilisée.
Les surfaces réfléchisantes captent également les couleurs de l'environnement ambiant. La couleur d'un objet peut être directement affectée par celle de son environnement. Par exemple, une balle blanche dans une pièce bleue prendra une teinte bleuâtre.
Mode HDR environnemental
Ces modes se composent d'API distinctes qui permettent une estimation précise et réaliste de l'éclairage pour l'éclairage directionnel, les ombres, les reflets spéculaires et les reflets.
Le mode HDR ambiant utilise le machine learning pour analyser les images de l'appareil photo en temps réel et synthétiser l'éclairage ambiant afin de permettre un rendu réaliste des objets virtuels.
Ce mode d'estimation de l'éclairage fournit les informations suivantes:
Feu directionnel principal Représente la source lumineuse principale. Peut être utilisé pour projeter des ombres.
Harmoniques sphériques ambiantes Représente l'énergie lumineuse ambiante restante dans la scène.
Cubemap HDR Peut servir à afficher des reflets dans des objets métalliques brillants.
Vous pouvez utiliser ces API dans différentes combinaisons, mais elles sont conçues pour être utilisées ensemble afin d'obtenir l'effet le plus réaliste possible.
Feux directionnels principaux
L'API de lumière directionnelle principale calcule la direction et l'intensité de la source lumineuse principale de la scène. Ces informations permettent aux objets virtuels de votre scène d'afficher des reflets spéculaires raisonnablement positionnés et de projeter des ombres dans une direction cohérente avec les autres objets réels visibles.
Pour comprendre comment cela fonctionne, prenons ces deux images de la même fusée virtuelle. Dans l'image de gauche, une ombre se trouve sous la fusée, mais sa direction ne correspond pas à celle des autres ombres de la scène. Dans la fusée de droite, l'ombre pointe dans la bonne direction. Il s'agit d'une différence subtile, mais importante. Elle ancre la fusée dans la scène, car la direction et l'intensité de l'ombre correspondent mieux aux autres ombres de la scène.
Lorsque la source lumineuse principale ou un objet éclairé est en mouvement, le reflet spéculaire de l'objet ajuste sa position en temps réel par rapport à la source lumineuse.
Les ombres directionnelles ajustent également leur longueur et leur direction en fonction de la position de la source lumineuse principale, comme dans le monde réel. Pour illustrer cet effet, prenons ces deux mannequins, l'un virtuel et l'autre réel. Le mannequin de gauche est le mannequin virtuel.
Harmoniques sphériques ambiantes
En plus de l'énergie lumineuse de la lumière directionnelle principale, ARCore fournit des harmoniques sphériques, qui représentent la lumière ambiante globale provenant de toutes les directions de la scène. Utilisez ces informations lors du rendu pour ajouter des indices subtils qui mettent en valeur la définition des objets virtuels.
Prenons l'exemple de ces deux images du même modèle de fusée. La fusée de gauche est affichée à l'aide d'informations d'estimation de l'éclairage détectées par l'API principale de lumière directionnelle. La fusée de droite est affichée à l'aide d'informations détectées à la fois par la lumière directionnelle principale et les API d'harmoniques sphériques ambiantes. La deuxième fusée est clairement plus définie visuellement et s'intègre plus facilement à la scène.
Cubemap HDR
Utilisez la carte cube HDR pour afficher des reflets réalistes sur des objets virtuels avec une brillance moyenne à élevée, comme des surfaces métalliques brillantes. La carte cube affecte également l'ombrage et l'apparence des objets. Par exemple, le matériau d'un objet spéculaire entouré d'un environnement bleu reflètera des teintes bleues. Le calcul de la carte cube HDR nécessite un petit calcul de CPU supplémentaire.
L'utilisation de la carte de cube HDR dépend de la façon dont un objet reflète son environnement. Étant donné que la fusée virtuelle est métallique, elle possède un composant spéculaire puissant qui reflète directement l'environnement qui l'entoure. Il bénéficie donc de la carte cube. En revanche, un objet virtuel avec un matériau mat gris terne ne comporte aucun composant spéculaire. Sa couleur dépend principalement du composant diffus et ne bénéficierait pas d'un cubemap.
Les trois API HDR environnementales ont été utilisées pour afficher la fusée ci-dessous. La carte cube HDR permet d'activer les indices réfléchissants et de mettre en évidence l'objet dans la scène.
Voici le même modèle de fusée dans des environnements éclairés différemment. Toutes ces scènes ont été rendues à l'aide des informations des trois API, avec des ombres directionnelles appliquées.
Mode Intensité ambiante
Le mode Intensité ambiante détermine l'intensité moyenne des pixels et les scalaires de correction des couleurs pour une image donnée. Il s'agit d'un paramètre grossier conçu pour les cas d'utilisation où un éclairage précis n'est pas essentiel, comme les objets dotés d'un éclairage intégré.
Intensité des pixels
Capture l'intensité moyenne des pixels de l'éclairage d'une scène. Vous pouvez appliquer cette luminosité à un objet virtuel entier.
Couleur
Détecte la balance des blancs pour chaque frame. Vous pouvez ensuite corriger la couleur d'un objet virtuel pour qu'il s'intègre plus facilement à la couleur globale de la scène.
Sondes d'environnement
Les sondes d'environnement organisent les vues à 360 degrés de la caméra en textures d'environnement, telles que des cartes de cube. Ces textures peuvent ensuite être utilisées pour éclairer de manière réaliste des objets virtuels, comme une boule de métal virtuelle qui "reflète" la pièce dans laquelle elle se trouve.