在 AR 基金會 Android 應用程式中使用原始深度

Raw Depth API 會為相機圖片提供深度資料，其準確度高於完整 Depth API 資料，但不一定涵蓋每個像素。原始深度圖片和相符的信心圖片也可以進一步處理，讓應用程式只使用深度資料，以便在個別用途中達到足夠的準確度。

裝置相容性

所有支援 Depth API 的裝置皆可使用原始深度。Raw Depth API 和完整 Depth API 一樣，不需要支援的硬體深度感應器，例如飛行時間 (ToF) 感應器。不過，Raw Depth API 和完整 Depth API 都會使用裝置可能具備的任何支援硬體感應器。

原始深度 API 與完整深度 API

Raw Depth API 可提供更精確的深度估計值，但原始深度圖片可能不會包含相機圖片中所有像素的深度估計值。相較之下，完整的 Depth API 會為每個像素提供預估深度，但由於深度預估值會經過平滑處理和內插，因此每個像素的深度資料可能較不準確。兩個 API 的深度圖格式和大小相同。只有內容不同。

下表說明使用廚房內椅子和桌子的圖片，Raw Depth API 和完整 Depth API 之間的差異。

API 傳回 相機圖片 深度圖像 可信度圖片
Raw Depth API
  • 原始深度圖像，其中包含相機圖像中部分像素的深度估計值 (但並非所有像素)。
  • 可為每個原始深度圖像像素提供可信度資訊的可信度圖像。相機圖像像素如果沒有深度估計值，其信心值為零。
Full Depth API
  • 單一「平滑」深度圖片，其中包含每個像素的深度估計值。
  • 這個 API 不會提供信心圖片。
 無

信心圖片

在 Raw Depth API 傳回的信心圖像中，較亮的像素具有較高的信心值，白色像素代表完全有信心，黑色像素代表完全沒有信心。一般來說，相機影像中紋理較多的區域 (例如樹木) 比紋理較少的區域 (例如空白牆壁) 具有較高的原始深度信心。沒有紋理的表面通常會產生零信心。

如果目標裝置有支援的硬體深度感應器，即使在無紋理表面上，相機也能更準確地判斷圖像中靠近相機的區域。

運算費用

Raw Depth API 的運算成本約為完整 Depth API 的半數。

用途

您可以使用 Raw Depth API 取得深度圖片，以便更詳細地呈現場景中物件的幾何圖形。在創建 AR 體驗時，如果需要更精確的深度和細節來進行幾何形狀理解作業，原始深度資料就會很實用。部分用途包括：

  • 3D 重建
  • 評估
  • 形狀偵測

必要條件

請務必先瞭解基本 AR 概念，並瞭解如何設定 ARCore 工作階段，再繼續操作。

啟用深度

在新的 ARCore 工作階段中，確認使用者的裝置是否支援 Depth。由於處理效能受限，並非所有 ARCore 相容裝置都支援 Depth API。為了節省資源，ARCore 預設會停用深度功能。啟用深度模式，讓應用程式使用 Depth API。

var occlusionManager = // Typically acquired from the Camera game object.

// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
    // If depth mode is available on the user's device, perform
    // the steps you want here.
}

取得最新的原始深度影像

呼叫 AROcclusionManager.TryAcquireEnvironmentDepthCpuImage() 並使用 AROcclusionManager.environmentDepthTemporalSmoothingRequested，即可在 CPU 上取得最新的原始深度圖像。

取得最新的原始深度信心圖片

呼叫 AROcclusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage() 並使用 AROcclusionManager.environmentDepthTemporalSmoothingRequested，即可在 CPU 上取得信心圖片。

// Attempt to get the latest environment depth image.
if (occlusionManager && occlusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage(out XRCpuImage image))
{
    using (image)
    {
        UpdateRawImage(m_RawEnvironmentDepthConfidenceImage, image);
    }
}
else
{
    m_RawEnvironmentDepthConfidenceImage.enabled = false;
}