Depth API membantu kamera perangkat memahami ukuran dan bentuk objek nyata dalam suatu scene. API ini menggunakan kamera untuk membuat gambar kedalaman, atau peta kedalaman, sehingga menambahkan lapisan realisme AR ke aplikasi Anda. Anda dapat menggunakan informasi yang diberikan oleh gambar kedalaman untuk menampilkan objek virtual secara akurat di depan atau di belakang objek dunia nyata, sehingga memungkinkan pengalaman pengguna yang imersif dan realistis.
Informasi kedalaman dihitung dari gerakan dan dapat digabungkan dengan informasi dari sensor kedalaman hardware, seperti sensor waktu penerbangan (ToF), jika tersedia. Perangkat tidak memerlukan sensor ToF untuk mendukung Depth API.
Prasyarat
Pastikan Anda memahami konsep AR dasar dan cara mengonfigurasi sesi ARCore sebelum melanjutkan.
Mengonfigurasi aplikasi Anda menjadi Depth Required atau Depth Optional (khusus Android)
Jika aplikasi Anda memerlukan dukungan Depth API, baik karena bagian inti dari pengalaman AR bergantung pada kedalaman, atau karena tidak ada penggantian yang halus untuk bagian aplikasi yang menggunakan kedalaman, Anda dapat memilih untuk membatasi distribusi aplikasi di Google Play Store ke perangkat yang mendukung Depth API.
Membuat aplikasi Depth Required
Buka Edit > Project Settings > XR Plug-in Management > ARCore
Depth ditetapkan ke Required secara default.
Membuat aplikasi Depth Optional
Buka Edit > Project Settings > XR Plug-in Management > ARCore
Dari menu drop-down Depth, pilih Optional untuk menetapkan aplikasi ke Depth opsional.
Mengaktifkan Kedalaman
Untuk menghemat resource, ARCore tidak mengaktifkan Depth API secara default. Untuk memanfaatkan kedalaman di perangkat yang didukung, Anda harus menambahkan komponen AROcclusionManager secara manual ke objek game Kamera AR dengan komponen Camera dan ARCameraBackground. Lihat
Oklusi otomatis
dalam dokumentasi Unity untuk mengetahui informasi selengkapnya.
Dalam sesi ARCore baru, periksa apakah perangkat pengguna mendukung kedalaman dan Depth API, sebagai berikut:
// Reference to AROcclusionManager that should be added to the AR Camera
// game object that contains the Camera and ARCameraBackground components.
var occlusionManager = …
// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
// If depth mode is available on the user's device, perform
// the steps you want here.
}
Mendapatkan gambar kedalaman
Dapatkan gambar kedalaman lingkungan terbaru dari
AROcclusionManager.
// Reference to AROcclusionManager that should be added to the AR Camera
// game object that contains the Camera and ARCameraBackground components.
var occlusionManager = …
if (occlusionManager.TryAcquireEnvironmentDepthCpuImage(out XRCpuImage image))
{
using (image)
{
// Use the texture.
}
}
Anda dapat mengonversi gambar CPU mentah menjadi RawImage
untuk fleksibilitas yang lebih besar. Contoh
cara melakukannya dapat ditemukan di contoh ARFoundation Unity.
Memahami nilai kedalaman
Titik A yang diberikan pada geometri dunia nyata yang diamati dan titik 2D a
yang mewakili titik yang sama dalam gambar kedalaman, nilai yang diberikan oleh Depth
API di a sama dengan panjang CA yang diproyeksikan ke sumbu utama.
Ini juga dapat disebut sebagai koordinat z A relatif terhadap origin
kamera C. Saat menggunakan Depth API, penting untuk memahami bahwa
nilai kedalaman bukanlah panjang sinar CA itu sendiri, tetapi proyeksi
darinya.
Menutupi objek virtual dan memvisualisasikan data kedalaman
Lihat postingan blog Unity untuk mengetahui ringkasan umum data kedalaman dan cara data tersebut dapat digunakan untuk menutup gambar virtual. Selain itu, contoh ARFoundation Unity menunjukkan gambar virtual yang dioklusi dan memvisualisasikan data kedalaman.
Anda dapat merender oklusi menggunakan rendering dua tahap atau rendering forward-pass per objek. Efisiensi setiap pendekatan bergantung pada kompleksitas tampilan dan pertimbangan khusus aplikasi lainnya.
Rendering per-objek, forward-pass
Per objek, rendering penerusan menentukan oklusi setiap piksel objek dalam shader materialnya. Jika tidak terlihat, piksel akan dipangkas, biasanya melalui penggabungan alfa, sehingga menyimulasikan oklusi di perangkat pengguna.
Rendering dua tahap
Dengan rendering dua tahap, tahap pertama merender semua konten virtual ke buffer perantara. Lulusan kedua menggabungkan tampilan virtual ke latar belakang berdasarkan perbedaan antara kedalaman dunia nyata dengan kedalaman tampilan virtual. Pendekatan ini tidak memerlukan pekerjaan shader khusus objek tambahan dan umumnya menghasilkan hasil yang terlihat lebih seragam daripada metode forward-pass.
Mengekstrak jarak dari gambar kedalaman
Untuk menggunakan Depth API untuk tujuan selain menutupi objek virtual atau memvisualisasikan data kedalaman, ekstrak informasi dari gambar kedalaman.
Texture2D _depthTexture;
short[] _depthArray;
void UpdateEnvironmentDepthImage()
{
if (_occlusionManager &&
_occlusionManager.TryAcquireEnvironmentDepthCpuImage(out XRCpuImage image))
{
using (image)
{
UpdateRawImage(ref _depthTexture, image, TextureFormat.R16);
_depthWidth = image.width;
_depthHeight = image.height;
}
}
var byteBuffer = _depthTexture.GetRawTextureData();
Buffer.BlockCopy(byteBuffer, 0, _depthArray, 0, byteBuffer.Length);
}
// Obtain the depth value in meters at a normalized screen point.
public static float GetDepthFromUV(Vector2 uv, short[] depthArray)
{
int depthX = (int)(uv.x * (DepthWidth - 1));
int depthY = (int)(uv.y * (DepthHeight - 1));
return GetDepthFromXY(depthX, depthY, depthArray);
}
// Obtain the depth value in meters at the specified x, y location.
public static float GetDepthFromXY(int x, int y, short[] depthArray)
{
if (!Initialized)
{
return InvalidDepthValue;
}
if (x >= DepthWidth || x < 0 || y >= DepthHeight || y < 0)
{
return InvalidDepthValue;
}
var depthIndex = (y * DepthWidth) + x;
var depthInShort = depthArray[depthIndex];
var depthInMeters = depthInShort * MillimeterToMeter;
return depthInMeters;
}
Langkah selanjutnya
- Wujudkan sensasi yang lebih akurat dengan Raw Depth API.
- Lihat ARCore Depth Lab, yang menunjukkan berbagai cara untuk mengakses data kedalaman.