API Độ sâu thô cung cấp dữ liệu độ sâu cho hình ảnh máy ảnh có độ chính xác cao hơn so với dữ liệu API Độ sâu đầy đủ, nhưng không phải lúc nào cũng bao phủ mọi pixel. Hình ảnh chiều sâu thô cùng với hình ảnh tin cậy phù hợp cũng có thể được xử lý thêm. Nhờ đó, các ứng dụng chỉ sử dụng dữ liệu chiều sâu có đủ độ chính xác cho trường hợp sử dụng riêng lẻ.
Khả năng tương thích với thiết bị
Độ sâu thô có trên tất cả thiết bị hỗ trợ depth API. Data depth API (API Chiều sâu đầy đủ) (chẳng hạn như API độ sâu đầy đủ) không yêu cầu phải có cảm biến độ sâu phần cứng được hỗ trợ, chẳng hạn như cảm biến thời gian bay (ToF). Tuy nhiên, cả API Chiều sâu thô và API Độ sâu đầy đủ đều sử dụng mọi cảm biến phần cứng được hỗ trợ mà thiết bị có thể có.
API độ sâu thô và API độ sâu đầy đủ
API Chiều sâu thô cung cấp số liệu ước tính về độ sâu với độ chính xác cao hơn, nhưng hình ảnh chiều sâu thô có thể không bao gồm số liệu ước tính về độ sâu cho tất cả các pixel trong hình ảnh camera. Ngược lại, API Độ sâu đầy đủ cung cấp độ sâu ước tính cho mỗi pixel nhưng dữ liệu độ sâu trên mỗi pixel có thể kém chính xác hơn do đã làm mượt và nội suy ước tính độ sâu. Định dạng và kích thước của ảnh chiều sâu giống nhau trên cả hai API. Chỉ có nội dung là khác nhau.
Bảng sau đây minh hoạ sự khác biệt giữa API Chiều sâu thô và API Độ sâu đầy đủ bằng hình ảnh một chiếc ghế và một chiếc bàn trong bếp.
| API | Giá trị trả về | Hình ảnh máy ảnh | Hình ảnh độ sâu | Hình ảnh về mức độ tin cậy |
|---|---|---|---|---|
| API Chiều sâu thô |
|
|
|
|
| API độ sâu đầy đủ |
|
|
|
Không áp dụng |
Hình ảnh về độ tin cậy
Trong các hình ảnh đáng tin cậy do API Độ sâu thô trả về, pixel sáng hơn có giá trị độ tin cậy cao hơn, với các pixel trắng thể hiện độ tin cậy hoàn toàn và các pixel đen thể hiện độ tin cậy cao hơn. Nhìn chung, các vùng trong hình ảnh của máy ảnh có nhiều hoạ tiết hơn, chẳng hạn như cây cối, sẽ có độ tin cậy về độ sâu thô cao hơn so với các vùng không có hoạ tiết, chẳng hạn như bức tường trống. Các bề mặt không có hoạ tiết thường có độ tin cậy bằng 0.
Nếu thiết bị mục tiêu có cảm biến độ sâu phần cứng được hỗ trợ, thì độ tin cậy ở các vùng hình ảnh đủ gần máy ảnh có thể sẽ cao hơn, ngay cả trên các bề mặt không có hoạ tiết.
Tính toán chi phí
Chi phí tính toán của Raw depth API là khoảng một nửa chi phí tính toán cho toàn bộ depth API.
Trường hợp sử dụng
Với API Độ sâu thô, bạn có thể thu được hình ảnh chiều sâu cung cấp bản trình bày chi tiết hơn về hình dạng của các đối tượng trong cảnh. Dữ liệu độ sâu thô có thể hữu ích khi tạo trải nghiệm AR, trong đó cần tăng độ chính xác và chi tiết về độ sâu cho các nhiệm vụ tìm hiểu hình học. Có thể kể đến một số trường hợp sử dụng như sau:
- Tái tạo 3D
- Đo lường
- Phát hiện hình dạng
Điều kiện tiên quyết
Đảm bảo rằng bạn hiểu rõ các khái niệm cơ bản về AR và cách định cấu hình phiên ARCore trước khi tiếp tục.
Bật tính năng Chiều sâu
Trong phiên ARCore mới, hãy kiểm tra xem thiết bị của người dùng có hỗ trợ Chiều sâu hay không. Không phải thiết bị nào tương thích với ARCore cũng hỗ trợ depth API do những hạn chế về công suất xử lý. Để tiết kiệm tài nguyên, theo mặc định, độ sâu sẽ bị tắt trên ARCore. Bật chế độ chiều sâu để ứng dụng sử dụng depth API.
int32_t is_depth_supported = 0;
// Check whether the user's device supports the Depth API.
ArSession_isDepthModeSupported(ar_session, AR_DEPTH_MODE_AUTOMATIC,
&is_depth_supported);
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);
if (is_depth_supported) {
ArConfig_setDepthMode(ar_session, ar_config, AR_DEPTH_MODE_AUTOMATIC);
}
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);
ArConfig_destroy(ar_config);
Thu thập hình ảnh độ sâu thô mới nhất
Gọi ArFrame_acquireRawDepthImage16Bits() để lấy hình ảnh chiều sâu thô mới nhất.
int64_t previous_depth_image_timestamp_ns = -1;
int64_t depth_image_timestamp_ns;
ArImage* depth_image = NULL;
// Acquire the raw depth image for the current frame.
ArStatus acquire_image_status =
ArFrame_acquireRawDepthImage16Bits(ar_session, ar_frame, &depth_image);
if (acquire_image_status == AR_SUCCESS) {
// Optional: compare raw depth image timestamps. Use this check if your app
// uses only new depth data.
ArImage_getTimestamp(ar_session, depth_image, &depth_image_timestamp_ns);
if (depth_image_timestamp_ns != previous_depth_image_timestamp_ns) {
// Raw depth image is based on new depth data.
previous_depth_image_timestamp_ns = depth_image_timestamp_ns;
// …
}
// Release the acquired image.
ArImage_release(depth_image);
}
Không phải tất cả các pixel hình ảnh được trả về qua API Chiều sâu thô sẽ chứa dữ liệu độ sâu và không phải mọi khung ARCore đều chứa hình ảnh chiều sâu thô mới. Để xác định xem hình ảnh chiều sâu thô cho khung hiện tại có phải là hình ảnh mới hay không, hãy so sánh dấu thời gian của hình ảnh đó với dấu thời gian của hình ảnh chiều sâu thô trước đó. Nếu các dấu thời gian khác nhau, hình ảnh chiều sâu thô sẽ dựa trên dữ liệu độ sâu mới. Nếu không, hình ảnh chiều sâu là hình ảnh chiếu lại của dữ liệu độ sâu trước đó.
Thu thập hình ảnh độ tự tin mới nhất
Gọi ArFrame_acquireRawDepthConfidenceImage() để lấy hình ảnh tin cậy. Bạn có thể sử dụng hình ảnh tin cậy để kiểm tra độ chính xác của từng pixel chiều sâu thô. Hình ảnh mức độ tin cậy được trả về ở định dạng Y8. Mỗi pixel là một số nguyên 8 bit chưa ký. 0 cho biết mức độ tin cậy thấp nhất, còn 255 cho biết mức độ tin cậy cao nhất.
// Acquire the raw depth confidence image.
ArImage* confidence_image = NULL;
ArStatus acquire_image_status = ArFrame_acquireRawDepthConfidenceImage(
ar_session, ar_frame, &confidence_image);
if (acquire_image_status == AR_SUCCESS) {
// …
// Release the acquired image.
ArImage_release(confidence_image);
}