Scene Semantics API ile kullanıcı ortamını anlama

Platforma özel kılavuzlar

Android (Kotlin/Java)Android NDK (C)iOSUnity (AR Foundation)

Sahne anlamları

Scene Semantics API, geliştiricilerin kullanıcıyı çevreleyen sahneyi anlamalarını sağlar. Bu, yüksek kaliteli birçok AR deneyimi için gereklidir. Bir yapay zeka modeliyle oluşturulan Scene Semantics API, ARCore'daki mevcut geometrik bilgileri tamamlayan gerçek zamanlı anlamsal bilgiler sağlar.

API, açık hava sahnesinin bir resmi verildiğinde gökyüzü, bina, ağaç, yol, kaldırım, araç, kişi ve daha fazlası gibi yararlı bir dizi anlamsal sınıfta her piksel için bir etiket döndürür. Scene Semantics API, piksel etiketlerine ek olarak her piksel etiketi için güven değerleri ve belirli bir etiketin açık hava sahnesindeki yaygınlığını sorgulamanın kolay bir yolunu da sunar.

Soldan sağa doğru giriş resmi örnekleri, piksel etiketlerinin anlamsal resmi ve ilgili güven resmi:

Semantik resim örneği

Scene Semantics API ile geliştiriciler, kullanıcının yabancı bir şehirde yol göstermesine yardımcı olacak yollar ve kaldırımlar, dinamik nesnelerde gizleme oluşturmak için insanlar ve araçlar, günün herhangi bir saatinde gün batımı oluşturmak için gökyüzü ve görünümlerini değiştirmek ve sanal nesneleri sabitlemek için binalar gibi belirli sahne bileşenlerini tanımlayabilir.

Anlamsal etiketler ve kalite

Scene Semantics API, her biri karşılık gelen bir kalite veya güvenilirliğe sahip birden fazla etiket sağlar. Genel olarak, ML modeli daha büyük ve daha yaygın nesne/yüzey sınıflarını, daha küçük veya daha nadir nesne/yüzey sınıflarından daha iyi tahmin edebilir. Sınıflar, aşağıdaki kalite katmanlarına göre gruplandırılabilir (en yüksekten en düşüğe doğru sıralanmıştır):

Anlamsal etiket kalite katmanları
Ana sahne bileşenleri
  • gökyüzü
  • derleniyor
  • ağaç
  • yol
  • araç
Önemli sahne ayrıntıları
  • kaldırım
  • arazi
  • yapı
  • su
Küçük sahne ayrıntıları
  • nesne
  • kişi

Cihaz uyumluluğu

Scene Semantics API, Depth API ile aynı desteklenen cihaz listesini paylaşır. Her iki API'yi de destekleyen cihazların güncel listesi için lütfen ARCore tarafından desteklenen cihazlar sayfasına bakın.

Desteklenen kullanım alanları

Scene Semantics API, aşağıdaki senaryolarda kullanılmak üzere tasarlanmıştır:

  1. Açık hava sahneleri: Yalnızca açık hava sahnelerini destekler ve kapalı mekan kullanım alanları için tasarlanmamıştır.

  2. Dikey yön: Yalnızca cihazın varsayılan yön modunda (ör. dikey) kullanılmalıdır. Yatay modda anlamsal etiketlerin kalitesi garanti edilmez.