Hiểu môi trường của người dùng bằng Scene Semantics API

Hướng dẫn dành riêng cho nền tảng

Android (Kotlin/Java)

Android NDK (C)

iOS

Unity (Nền tảng AR)

Ngữ nghĩa cảnh

Scene Semantics API giúp nhà phát triển hiểu cảnh xung quanh người dùng. Điều này là cần thiết để có nhiều trải nghiệm thực tế tăng cường chất lượng cao. Được xây dựng trên mô hình ML (học máy), Scene Semantics API (API ngữ nghĩa của cảnh) cung cấp thông tin ngữ nghĩa theo thời gian thực, bổ sung cho thông tin hình học hiện có trong ARCore.

Với hình ảnh của một cảnh ngoài trời, API trả về một nhãn cho từng pixel trên một tập hợp các lớp ngữ nghĩa hữu ích, chẳng hạn như bầu trời, toà nhà, cây cối, đường, vỉa hè, phương tiện đi lại, người, v.v. Ngoài nhãn pixel, Scene Semantics API cũng cung cấp các giá trị tin cậy cho từng nhãn pixel và một cách dễ sử dụng để truy vấn mức độ phổ biến của một nhãn nhất định ở cảnh ngoài trời.

Từ trái sang phải là ví dụ về hình ảnh đầu vào, hình ảnh ngữ nghĩa của nhãn pixel và hình ảnh tin cậy tương ứng:

Ví dụ về hình ảnh ngữ nghĩa

Với Scene Semantics API, các nhà phát triển có thể xác định các thành phần cảnh cụ thể, chẳng hạn như đường và vỉa hè để giúp hướng dẫn người dùng qua một thành phố lạ, con người và phương tiện di chuyển để hiện các vật thể động, bầu trời và cảnh hoàng hôn bất kỳ lúc nào trong ngày, cũng như các toà nhà để sửa đổi hình dáng cũng như neo các vật thể ảo.

Nhãn ngữ nghĩa và chất lượng

Scene Semantics API cung cấp nhiều nhãn, mỗi nhãn có chất lượng hoặc độ tin cậy tương ứng. Nhìn chung, mô hình học máy có khả năng dự đoán các lớp của đối tượng/bề mặt lớn hơn, phổ biến hơn so với các lớp của đối tượng/bề mặt nhỏ hơn hoặc hiếm hơn. Các lớp có thể được nhóm thành các bậc chất lượng như sau, theo thứ tự từ cao đến thấp:

Các cấp chất lượng của nhãn theo ngữ nghĩa
Thành phần cảnh chính
  • bầu trời
  • toà nhà
  • cái cây
  • con đường
  • xe cộ
Chi tiết cảnh chính
  • vỉa hè
  • địa hình
  • cấu trúc
  • nước
Chi tiết cảnh phụ
  • đối tượng
  • người

Khả năng tương thích với thiết bị

Scene Semantics API có cùng danh sách các thiết bị được hỗ trợ như depth API. Vui lòng tham khảo trang Thiết bị hỗ trợ ARCore để biết danh sách cập nhật các thiết bị hỗ trợ cả hai API.

Trường hợp sử dụng được hỗ trợ

Scene Semantics API được thiết kế để sử dụng trong các trường hợp sau:

  1. Cảnh ngoài trời: Chỉ hỗ trợ các cảnh ngoài trời và không dành cho trường hợp sử dụng trong nhà.

  2. Hướng dọc: Chỉ nên sử dụng ở chế độ hướng mặc định của thiết bị (ví dụ: dọc). Chất lượng của nhãn ngữ nghĩa không được đảm bảo cho chế độ ngang.