AR Foundation Android 앱에서 Raw Depth 사용

Raw Depth API는 전체 Depth API 데이터보다 정확성이 높은 카메라 이미지의 깊이 데이터를 제공하지만 항상 모든 픽셀을 다루지는 않습니다. 원시 심도 이미지는 일치하는 신뢰도 이미지와 함께 추가로 처리할 수도 있으므로 앱은 개별 사용 사례에 충분한 정확성을 갖는 심도 데이터만 사용할 수 있습니다.

기기 호환성

원시 Depth는 Depth API를 지원하는 모든 기기에서 사용할 수 있습니다. 전체 Depth API와 마찬가지로 Raw Depth API에는 비행시간 (ToF) 센서와 같이 지원되는 하드웨어 깊이 센서가 필요하지 않습니다. 그러나 Raw Depth API와 전체 Depth API 모두 기기에 있는 지원되는 하드웨어 센서를 사용합니다.

원시 Depth API와 전체 Depth API 비교

Raw Depth API는 더 높은 정확도로 깊이 추정치를 제공하지만 원시 깊이 이미지에는 카메라 이미지의 일부 픽셀에 대한 깊이 추정치가 포함되지 않을 수 있습니다. 반면 전체 Depth API는 모든 픽셀에 대해 추정된 깊이를 제공하지만, 깊이 추정치의 평활화 및 보간으로 인해 픽셀당 깊이 데이터가 덜 정확할 수 있습니다. 깊이 이미지의 형식과 크기는 두 API에서 동일합니다. 콘텐츠만 다릅니다.

다음 표는 부엌에 있는 의자와 테이블의 이미지를 사용하여 Raw Depth API와 전체 Depth API의 차이를 보여줍니다.

API 반환 값 카메라 이미지 깊이 이미지 확신 이미지
Raw Depth API
  • 카메라 이미지의 일부 픽셀에 대한 매우 정확한 깊이 추정치가 포함된 원시 깊이 이미지입니다.
  • 모든 원시 깊이 이미지 픽셀의 신뢰도를 제공하는 신뢰도 이미지입니다. 깊이 추정치가 없는 카메라 이미지 픽셀의 신뢰도는 0입니다.
Full Depth API
  • 모든 픽셀의 깊이 추정치가 포함된 단일 '부드럽게 처리된' 깊이 이미지입니다.
  • 이 API에는 신뢰도 이미지가 제공되지 않습니다.
 해당 사항 없음

확신 이미지

Raw Depth API에서 반환하는 신뢰도 이미지에서 밝은 픽셀은 신뢰도가 더 높으며, 흰색 픽셀은 완전한 신뢰도를 나타내고 검은색 픽셀은 신뢰도가 없음을 나타냅니다. 일반적으로 나무와 같이 카메라 이미지에서 텍스처가 더 많은 영역은 빈 벽과 같이 텍스처가 없는 영역보다 원시 깊이 신뢰도가 더 높습니다. 텍스처가 없는 노출 영역은 일반적으로 신뢰도가 0입니다.

타겟 기기에 지원되는 하드웨어 깊이 센서가 있는 경우 텍스처가 없는 표면에서도 카메라에 충분히 가까운 이미지 영역에 대한 신뢰도가 더 높을 수 있습니다.

컴퓨팅 비용

Raw Depth API의 컴퓨팅 비용은 전체 Depth API의 컴퓨팅 비용의 약 절반입니다.

사용 사례

Raw Depth API를 사용하면 장면의 객체 도형을 더 자세히 표현하는 깊이 이미지를 얻을 수 있습니다. 원시 깊이 데이터는 도형 이해 작업에 깊이 정확도와 세부정보가 향상된 AR 환경을 만드는 데 유용할 수 있습니다. 몇 가지 사용 사례는 다음과 같습니다.

  • 3D 재구성
  • 측정
  • 도형 감지

기본 요건

계속하기 전에 기본 AR 개념과 ARCore 세션을 구성하는 방법을 이해해야 합니다.

깊이 사용 설정

새 ARCore 세션에서 사용자의 기기가 Depth를 지원하는지 확인합니다. 일부 ARCore 호환 기기는 처리 성능 제약으로 인해 Depth API를 지원하지 않습니다. 리소스를 절약하기 위해 ARCore에서는 기본적으로 깊이가 사용 중지되어 있습니다. 앱에서 Depth API를 사용하도록 하려면 깊이 모드를 사용 설정합니다.

var occlusionManager = // Typically acquired from the Camera game object.

// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
    // If depth mode is available on the user's device, perform
    // the steps you want here.
}

최신 원시 깊이 이미지 획득

AROcclusionManager.TryAcquireEnvironmentDepthCpuImage()를 호출하고 AROcclusionManager.environmentDepthTemporalSmoothingRequested를 사용하여 CPU에서 최신 원시 깊이 이미지를 획득합니다.

최신 원시 깊이 신뢰도 이미지 획득

AROcclusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage()를 호출하고 AROcclusionManager.environmentDepthTemporalSmoothingRequested를 사용하여 CPU에서 신뢰도 이미지를 획득합니다.

// Attempt to get the latest environment depth image.
if (occlusionManager && occlusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage(out XRCpuImage image))
{
    using (image)
    {
        UpdateRawImage(m_RawEnvironmentDepthConfidenceImage, image);
    }
}
else
{
    m_RawEnvironmentDepthConfidenceImage.enabled = false;
}