Android NDK アプリで Raw Depth を使用する

Raw Depth API は、フル Depth API データよりも精度が高いカメラ画像の深度データを提供しますが、必ずしもすべてのピクセルをカバーしているわけではありません。元の奥行き画像を照合する信頼度画像とともにさらに処理できるため、アプリは個々のユースケースに対して十分な精度がある奥行きデータのみを使用できます。

デバイスの互換性

Raw Depth は、Depth API をサポートするすべてのデバイスで利用できます。Raw Depth API は、完全な Depth API と同様に、Time-of-Flight（ToF）センサーなど、サポートされているハードウェア深度センサーを必要としません。ただし、Raw Depth API と完全な Depth API はどちらも、デバイスでサポートされている任意のハードウェア センサーを利用します。

Raw Depth API と Full Depth API の比較

Raw Depth API を使用すると、より正確に奥行きを推定できます。ただし、未加工の奥行きの画像には、カメラ画像内のすべてのピクセルの奥行きの推定が含まれない場合があります。これに対して、完全な Depth API はピクセルごとに推定深度を提供しますが、ピクセルごとの深度データは、深度推定値の平滑化と補間によって精度が低くなる場合があります。奥行きのある画像の形式とサイズは両方の API で同じです。異なるのはコンテンツだけです。

次の表は、Raw Depth API と Full Depth API の違いを、キッチンの椅子とテーブルの画像を使用して示したものです。

API 戻り値 カメラ画像 奥行きのある画像 信頼度の画像
Raw Depth API
  • カメラ画像内のすべてのピクセルではなく、一部のピクセルの非常に正確な深度推定値を含む未加工の深度画像。
  • すべての奥行きの未加工画像ピクセルごとに信頼度を与える信頼度の画像。深度を推定できないカメラ画像のピクセルの信頼度は 0 です。
Full Depth API
  • 各ピクセルの奥行きの推定値を含む、単一の「平滑化された」奥行き画像。
  • この API では信頼度の画像は提供されません。
 該当しない

信頼度の画像

Raw Depth API から返される信頼度の画像では、明るいピクセルほど信頼値が高く、白いピクセルは完全な信頼度を表し、黒いピクセルは信頼度が低いことを示します。一般に、カメラ画像で木のようにテクスチャの多い領域は、何もない領域（何もない壁など）よりも生の奥行きの信頼度が高くなります。通常、テクスチャのないサーフェスの信頼度は 0 になります。

対象デバイスがサポートされているハードウェア深度センサーを搭載している場合は、テクスチャのない表面であっても、カメラに十分近い画像領域の信頼度が高くなります。

コンピューティングの費用

Raw Depth API のコンピューティング費用は、完全な Depth API のコンピューティング費用の約半分です。

ユースケース

Raw Depth API を使用すると、シーン内のオブジェクトのジオメトリをより詳細に表現した深度画像を取得できます。未加工の深度データは、ジオメトリを理解するタスクに深度の精度とディテールの向上が求められる AR エクスペリエンスを作成する際に有用です。次のような用途があります。

  • 3D 再構築
  • 測定
  • 形状検出

前提条件

続行する前に、AR の基本的なコンセプトと ARCore セッションを構成する方法を理解しておいてください。

Depth を有効にする

新しい ARCore セッションで、ユーザーのデバイスが Depth に対応しているかどうかを確認します。処理能力の制約により、すべての ARCore 対応デバイスが Depth API をサポートしているわけではありません。リソースを節約するため、ARCore では奥行きがデフォルトで無効になっています。アプリで Depth API を使用するには、深度モードを有効にします。

int32_t is_depth_supported = 0;

// Check whether the user's device supports the Depth API.
ArSession_isDepthModeSupported(ar_session, AR_DEPTH_MODE_AUTOMATIC,
                               &is_depth_supported);
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);
if (is_depth_supported) {
  ArConfig_setDepthMode(ar_session, ar_config, AR_DEPTH_MODE_AUTOMATIC);
}
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);
ArConfig_destroy(ar_config);

最新の未加工の深度画像を取得する

ArFrame_acquireRawDepthImage16Bits() を呼び出して、最新の未加工深度画像を取得します。

int64_t previous_depth_image_timestamp_ns = -1;
int64_t depth_image_timestamp_ns;
ArImage* depth_image = NULL;

// Acquire the raw depth image for the current frame.
ArStatus acquire_image_status =
    ArFrame_acquireRawDepthImage16Bits(ar_session, ar_frame, &depth_image);

if (acquire_image_status == AR_SUCCESS) {
  // Optional: compare raw depth image timestamps. Use this check if your app
  // uses only new depth data.
  ArImage_getTimestamp(ar_session, depth_image, &depth_image_timestamp_ns);
  if (depth_image_timestamp_ns != previous_depth_image_timestamp_ns) {
    // Raw depth image is based on new depth data.
    previous_depth_image_timestamp_ns = depth_image_timestamp_ns;
    // …
  }
  // Release the acquired image.
  ArImage_release(depth_image);
}

Raw Depth API を介して返されたすべての画像ピクセルに深度データが含まれるわけではなく、すべての ARCore フレームに新しい RAW 深度画像が含まれるとは限りません。現在のフレームの RAW 深度画像が新しいかどうかを判断するには、そのタイムスタンプを以前の RAW 深度画像のタイムスタンプと比較します。タイムスタンプが異なる場合、元の奥行きの画像は新しい奥行きデータに基づいています。それ以外の場合、奥行き画像は以前の奥行きデータを再投影したものです。

最新の信頼度イメージの取得

ArFrame_acquireRawDepthConfidenceImage() を呼び出して信頼度の画像を取得します。信頼度の画像を使用して、各元の奥行きピクセルの精度を確認できます。信頼度の画像は Y8 形式で返されます。各ピクセルは 8 ビット符号なし整数です。0 は最も低い信頼度を示し、255 は最大の信頼度を示します。

// Acquire the raw depth confidence image.
ArImage* confidence_image = NULL;
ArStatus acquire_image_status = ArFrame_acquireRawDepthConfidenceImage(
    ar_session, ar_frame, &confidence_image);

if (acquire_image_status == AR_SUCCESS) {
  // …
  // Release the acquired image.
  ArImage_release(confidence_image);
}