Hướng dẫn dành riêng cho nền tảng
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
API ngữ nghĩa cảnh cho phép nhà phát triển hiểu được cảnh xung quanh người dùng. Đây là yếu tố cần thiết cho nhiều trải nghiệm AR chất lượng cao. Được xây dựng trên một mô hình máy học, API ngữ nghĩa cảnh cung cấp thông tin ngữ nghĩa theo thời gian thực, bổ sung cho thông tin hình học hiện có trong ARCore.
Khi nhận được hình ảnh của một cảnh ngoài trời, API sẽ trả về một nhãn cho mỗi pixel trong một tập hợp các lớp ngữ nghĩa hữu ích, chẳng hạn như bầu trời, toà nhà, cây, đường, vỉa hè, xe cộ, người và nhiều lớp khác. Ngoài nhãn pixel, API Ngữ nghĩa cảnh cũng cung cấp các giá trị độ tin cậy cho từng nhãn pixel và một cách dễ sử dụng để truy vấn mức độ phổ biến của một nhãn nhất định trong cảnh ngoài trời.
Từ trái sang phải, ví dụ về hình ảnh đầu vào, hình ảnh ngữ nghĩa của nhãn pixel và hình ảnh độ tin cậy tương ứng:
Với Scene Semantics API, nhà phát triển có thể xác định các thành phần cảnh cụ thể, chẳng hạn như đường và vỉa hè để giúp người dùng đi qua một thành phố xa lạ, người và xe cộ để kết xuất các vật thể bị che khuất trên các vật thể động, bầu trời để tạo cảnh hoàng hôn vào bất kỳ thời điểm nào trong ngày và các toà nhà để sửa đổi giao diện và neo các vật thể ảo.
Nhãn ngữ nghĩa và chất lượng
API ngữ nghĩa cảnh cung cấp nhiều nhãn, mỗi nhãn có chất lượng hoặc độ tin cậy tương ứng. Nhìn chung, mô hình học máy có thể dự đoán tốt hơn các lớp đối tượng/bề mặt lớn hơn, phổ biến hơn so với các lớp đối tượng/bề mặt nhỏ hơn hoặc hiếm hơn. Các lớp này có thể được nhóm thành các cấp chất lượng sau, được xếp hạng từ cao đến thấp:
| Các cấp chất lượng của nhãn ngữ nghĩa | |
|---|---|
| Các thành phần chính của cảnh |
|
| Thông tin chi tiết chính về cảnh |
|
| Chi tiết nhỏ về cảnh |
|
Khả năng tương thích với thiết bị
API ngữ nghĩa cảnh có cùng danh sách thiết bị được hỗ trợ như Depth API. Vui lòng tham khảo trang Thiết bị được hỗ trợ ARCore để biết danh sách mới nhất về các thiết bị hỗ trợ cả hai API.
Trường hợp sử dụng được hỗ trợ
API ngữ nghĩa cảnh được thiết kế để sử dụng trong các trường hợp sau:
Cảnh ngoài trời: Chỉ hỗ trợ cảnh ngoài trời và không dành cho các trường hợp sử dụng trong nhà.
Hướng dọc: Chỉ nên sử dụng ở chế độ hướng mặc định của thiết bị (tức là hướng dọc). Chất lượng của nhãn ngữ nghĩa không được đảm bảo đối với chế độ ngang.