Przewodniki dotyczące poszczególnych platform
Interfejs API semantyki sceny umożliwia deweloperom analizowanie sceny wokół użytkownika, co jest potrzebne do tworzenia wysokiej jakości treści AR. Interfejs Scene Semantics API, oparty na modelu uczenia maszynowego, dostarcza informacji semantycznych w czasie rzeczywistym, które uzupełniają istniejące informacje geometryczne w ARCore.
Po otrzymaniu obrazu przedstawiającego scenę na zewnątrz interfejs API zwraca etykietę dla każdego piksela w ramach zestawu przydatnych klas semantycznych, takich jak niebo, budynek, drzewo, droga, chodnik, pojazd, osoba itp. Oprócz etykiet pikseli interfejs API semantyki sceny udostępnia też wartości ufności dla każdej etykiety piksela oraz łatwy sposób na zapytanie o występowanie danej etykiety w scenie na zewnątrz.
Od lewej do prawej: przykłady obrazu wejściowego, semantycznego obrazu z etykietami pikseli i odpowiedniego obrazu ufności:
Dzięki interfejsowi Scene Semantics API deweloperzy mogą identyfikować konkretne elementy sceny, takie jak drogi i chodniki, aby ułatwić użytkownikowi poruszanie się po nieznanym mieście, ludzie i pojazdy, aby renderować zasłony na dynamicznych obiektach, niebo, aby tworzyć zachód słońca o dowolnej porze dnia, oraz budynki, aby modyfikować ich wygląd i ankreować obiekty wirtualne.
Etykiety semantyczne i jakość
Interfejs Scene Semantics API udostępnia wiele etykiet, z których każda ma odpowiednią jakość lub niezawodność. Ogólnie model ML lepiej przewiduje klasy większych, bardziej typowych obiektów/powierzchni niż klas mniejszych lub rzadszych obiektów/powierzchni. Klasy można grupować według tych poziomów jakości, od najwyższego do najniższego:
| Poziomy jakości etykiety semantycznej | |
|---|---|
| Główne komponenty sceny |
|
| Szczegóły głównej sceny |
|
| Szczegóły dotyczące mniejszych scen |
|
Zgodność urządzeń
Interfejs Scene Semantics API ma tę samą listę obsługiwanych urządzeń co interfejs Depth API. Na stronie ARCore – obsługiwane urządzenia znajdziesz aktualną listę urządzeń, które obsługują oba interfejsy API.
Obsługiwane zastosowania
Interfejs API semantyki sceny jest przeznaczony do użytku w tych sytuacjach:
Sceny na zewnątrz: obsługa tylko scen na zewnątrz i nie jest przeznaczona do zastosowań wewnątrz pomieszczeń.
Orientacja pionowa: należy używać tylko w domyślnym trybie orientacji urządzenia (czyli w orientacji pionowej). Nie gwarantujemy jakości etykiet semantycznych w trybie poziomym.