Panduan khusus platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (Dasar-Dasar AR)
Scene Semantics API memungkinkan developer memahami suasana di sekitar pengguna, yang diperlukan untuk banyak pengalaman AR berkualitas tinggi. Dibangun berdasarkan model ML, Scene Semantics API memberikan informasi semantik real-time, yang melengkapi informasi geometris yang ada di ARCore.
Dengan mempertimbangkan gambar pemandangan luar ruangan, API ini akan menampilkan label untuk setiap piksel di seluruh kumpulan class semantik yang berguna, seperti langit, bangunan, pohon, jalan, trotoar, kendaraan, orang, dan banyak lagi. Selain label piksel, Scene Semantics API juga menawarkan nilai keyakinan untuk setiap label piksel dan cara yang mudah digunakan untuk mengkueri prevalensi label tertentu di pemandangan luar ruangan.
Dari kiri ke kanan, contoh gambar input, gambar semantik label piksel, dan gambar keyakinan yang sesuai:
Dengan Scene Semantics API, developer dapat mengidentifikasi komponen pemandangan tertentu, seperti jalan dan trotoar untuk membantu memandu pengguna melewati kota, orang, dan kendaraan asing untuk merender oklusi pada objek dinamis, langit untuk membuat matahari terbenam kapan saja sepanjang hari, dan bangunan untuk mengubah tampilan dan menambatkan objek virtual.
Label dan kualitas semantik
Scene Semantics API menyediakan beberapa label, masing-masing dengan kualitas atau keandalan yang sesuai. Umumnya, model ML lebih mampu memprediksi class objek/permukaan yang lebih besar dan lebih umum daripada class objek/permukaan yang lebih kecil atau lebih langka. Kelas dapat dikelompokkan ke dalam tingkat kualitas berikut, yang diberi peringkat dari yang lebih tinggi ke lebih rendah:
| Tingkat kualitas label semantik | |
|---|---|
| Komponen scene utama |
|
| Detail adegan utama |
|
| Detail adegan kecil |
|
Kompatibilitas perangkat
Scene Semantics API memiliki daftar perangkat yang didukung yang sama dengan Depth API. Lihat halaman Perangkat yang didukung ARCore untuk mengetahui daftar terbaru perangkat yang mendukung kedua API.
Kasus penggunaan yang didukung
Scene Semantics API dirancang untuk digunakan dalam skenario berikut:
Pemandangan luar ruangan: Hanya mendukung pemandangan luar ruangan dan tidak dimaksudkan untuk kasus penggunaan di dalam ruangan.
Orientasi potret: Hanya boleh digunakan dalam mode orientasi default perangkat (yaitu potret). Kualitas label semantik tidak dijamin untuk mode lanskap.