Panduan khusus platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API memungkinkan developer memahami scene di sekitar pengguna, yang diperlukan untuk banyak pengalaman AR berkualitas tinggi. Dibuat berdasarkan model ML, Scene Semantics API memberikan informasi semantik real-time, yang melengkapi informasi geometri yang ada di ARCore.
Dengan mempertimbangkan gambar pemandangan luar ruangan, API ini akan menampilkan label untuk setiap piksel di seluruh kumpulan class semantik yang berguna, seperti langit, bangunan, pohon, jalan, trotoar, kendaraan, orang, dan banyak lagi. Selain label piksel, Scene Semantics API juga menawarkan nilai keyakinan untuk setiap label piksel dan cara yang mudah digunakan untuk membuat kueri prevalensi label tertentu di scene luar ruangan.
Dari kiri ke kanan, contoh gambar input, gambar semantik label piksel, dan gambar keyakinan yang sesuai:
Dengan Scene Semantics API, developer dapat mengidentifikasi komponen scene tertentu, seperti jalan dan trotoar untuk membantu memandu pengguna melalui kota yang tidak dikenal, orang dan kendaraan untuk merender oklusi pada objek dinamis, langit untuk membuat matahari terbenam kapan saja, dan bangunan untuk mengubah tampilannya dan mengaitkan objek virtual.
Label dan kualitas semantik
Scene Semantics API menyediakan beberapa label, masing-masing dengan kualitas atau keandalan yang sesuai. Secara umum, model ML lebih mampu memprediksi class objek/permukaan yang lebih besar dan lebih umum daripada class objek/permukaan yang lebih kecil atau lebih jarang. Class dapat dikelompokkan ke dalam tingkat kualitas berikut, yang diberi peringkat dari yang lebih tinggi ke yang lebih rendah:
| Tingkat kualitas label semantik | |
|---|---|
| Komponen tampilan utama |
|
| Detail adegan utama |
|
| Detail suasana minor |
|
Kompatibilitas perangkat
Scene Semantics API memiliki daftar perangkat yang didukung yang sama dengan Depth API. Silakan buka halaman Perangkat yang didukung ARCore untuk mengetahui daftar terbaru perangkat yang mendukung kedua API tersebut.
Kasus penggunaan yang didukung
Scene Semantics API dirancang untuk digunakan dalam skenario berikut:
Pemandangan luar ruangan: Hanya mendukung pemandangan luar ruangan dan tidak dimaksudkan untuk kasus penggunaan di dalam ruangan.
Orientasi potret: Hanya boleh digunakan dalam mode orientasi default perangkat (yaitu potret). Kualitas label semantik tidak dijamin untuk mode lanskap.