Depth API membantu kamera perangkat memahami ukuran dan bentuk objek nyata dalam suatu scene. API ini menggunakan kamera untuk membuat gambar kedalaman, atau peta kedalaman, sehingga menambahkan lapisan realisme AR ke aplikasi Anda. Anda dapat menggunakan informasi yang diberikan oleh gambar kedalaman untuk menampilkan objek virtual secara akurat di depan atau di belakang objek dunia nyata, sehingga memungkinkan pengalaman pengguna yang imersif dan realistis.
Informasi kedalaman dihitung dari gerakan dan dapat digabungkan dengan informasi dari sensor kedalaman hardware, seperti sensor waktu penerbangan (ToF), jika tersedia. Perangkat tidak memerlukan sensor ToF untuk mendukung Depth API.
Prasyarat
Pastikan Anda memahami konsep AR dasar dan cara mengonfigurasi sesi ARCore sebelum melanjutkan.
Mengonfigurasi aplikasi menjadi Depth Required atau Depth Optional (khusus Android)
Jika aplikasi Anda memerlukan dukungan Depth API, baik karena bagian inti dari pengalaman AR bergantung pada kedalaman, atau karena tidak ada penggantian yang halus untuk bagian aplikasi yang menggunakan kedalaman, Anda dapat memilih untuk membatasi distribusi aplikasi di Google Play Store ke perangkat yang mendukung Depth API.
Membuat aplikasi Depth Required
Buka Edit > Project Settings > XR Plug-in Management > ARCore
Depth ditetapkan ke Required secara default.
Jadikan aplikasi Anda Depth Optional
Buka Edit > Project Settings > XR Plug-in Management > ARCore
Dari menu drop-down Depth, pilih Optional untuk menetapkan aplikasi ke Depth opsional.
Mengaktifkan Kedalaman
Untuk menghemat resource, ARCore tidak mengaktifkan Depth API secara default. Untuk
memanfaatkan kedalaman di perangkat yang didukung, Anda harus menambahkan komponen
AROcclusionManager
secara manual ke objek game Kamera AR dengan komponen Camera dan
ARCameraBackground. Lihat
Oklusi otomatis
dalam dokumentasi Unity untuk mengetahui informasi selengkapnya.
Dalam sesi ARCore baru, periksa apakah perangkat pengguna mendukung kedalaman dan Depth API, sebagai berikut:
// Reference to AROcclusionManager that should be added to the AR Camera
// game object that contains the Camera and ARCameraBackground components.
var occlusionManager = …
// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
// If depth mode is available on the user's device, perform
// the steps you want here.
}
Mendapatkan gambar kedalaman
Dapatkan gambar kedalaman lingkungan terbaru dari
AROcclusionManager.
// Reference to AROcclusionManager that should be added to the AR Camera
// game object that contains the Camera and ARCameraBackground components.
var occlusionManager = …
if (occlusionManager.TryAcquireEnvironmentDepthCpuImage(out XRCpuImage image))
{
using (image)
{
// Use the texture.
}
}
Anda dapat mengonversi image CPU mentah menjadi RawImage
untuk lebih fleksibel. Contoh
cara melakukannya dapat ditemukan di contoh ARFoundation Unity.
Memahami nilai kedalaman
Titik A yang diberikan pada geometri dunia nyata yang diamati dan titik 2D a
yang mewakili titik yang sama dalam gambar kedalaman, nilai yang diberikan oleh Depth
API di a sama dengan panjang CA yang diproyeksikan ke sumbu utama.
Ini juga dapat disebut sebagai koordinat z A relatif terhadap origin
kamera C. Saat menggunakan Depth API, penting untuk memahami bahwa
nilai kedalaman bukanlah panjang sinar CA itu sendiri, tetapi proyeksi
darinya.
Menutupi objek virtual dan memvisualisasikan data kedalaman
Lihat postingan blog Unity untuk mengetahui ringkasan umum data kedalaman dan cara data tersebut dapat digunakan untuk menutup gambar virtual. Selain itu, contoh ARFoundation Unity menunjukkan gambar virtual yang menutupi dan memvisualisasikan data kedalaman.
Anda bisa merender oklusi menggunakan rendering dua-pass atau rendering maju-pass per-objek. Efisiensi setiap pendekatan bergantung pada kompleksitas tampilan dan pertimbangan khusus aplikasi lainnya.
Rendering per-objek, forward-pass
Per objek, rendering penerusan menentukan oklusi setiap piksel objek dalam shader materialnya. Jika piksel tidak terlihat, piksel tersebut akan dipotong, biasanya melalui pencampuran alfa, sehingga menyimulasikan oklusi di perangkat pengguna.
Rendering dua tahap
Dengan rendering dua tahap, tahap pertama merender semua konten virtual ke buffer perantara. Pass kedua menggabungkan adegan virtual ke latar belakang berdasarkan perbedaan antara kedalaman dunia nyata dengan kedalaman adegan virtual. Pendekatan ini tidak memerlukan pekerjaan shader spesifik per objek tambahan dan umumnya memberikan hasil yang terlihat lebih seragam dibandingkan metode {i>forward-pass<i}.
Mengekstrak jarak dari gambar kedalaman
Untuk menggunakan Depth API untuk tujuan selain menutupi objek virtual atau memvisualisasikan data kedalaman, ekstrak informasi dari gambar kedalaman.
Texture2D _depthTexture;
short[] _depthArray;
void UpdateEnvironmentDepthImage()
{
if (_occlusionManager &&
_occlusionManager.TryAcquireEnvironmentDepthCpuImage(out XRCpuImage image))
{
using (image)
{
UpdateRawImage(ref _depthTexture, image, TextureFormat.R16);
_depthWidth = image.width;
_depthHeight = image.height;
}
}
var byteBuffer = _depthTexture.GetRawTextureData();
Buffer.BlockCopy(byteBuffer, 0, _depthArray, 0, byteBuffer.Length);
}
// Obtain the depth value in meters at a normalized screen point.
public static float GetDepthFromUV(Vector2 uv, short[] depthArray)
{
int depthX = (int)(uv.x * (DepthWidth - 1));
int depthY = (int)(uv.y * (DepthHeight - 1));
return GetDepthFromXY(depthX, depthY, depthArray);
}
// Obtain the depth value in meters at the specified x, y location.
public static float GetDepthFromXY(int x, int y, short[] depthArray)
{
if (!Initialized)
{
return InvalidDepthValue;
}
if (x >= DepthWidth || x < 0 || y >= DepthHeight || y < 0)
{
return InvalidDepthValue;
}
var depthIndex = (y * DepthWidth) + x;
var depthInShort = depthArray[depthIndex];
var depthInMeters = depthInShort * MillimeterToMeter;
return depthInMeters;
}
Langkah selanjutnya
- Wujudkan sensasi yang lebih akurat dengan Raw Depth API.
- Lihat ARCore Depth Lab, yang menunjukkan berbagai cara untuk mengakses data kedalaman.