ใช้ความลึกแบบ Raw ในแอป AR Foundation สำหรับ Android

Raw Depth API จะให้ข้อมูลความลึกสำหรับรูปจากกล้องที่มีความแม่นยำสูงกว่าข้อมูล Depth API แบบเต็มรูปแบบ แต่อาจไม่ได้ครอบคลุมทุกพิกเซลเสมอไป นอกจากนี้ ระบบยังประมวลผลรูปภาพเชิงลึก รวมถึงรูปภาพความเชื่อมั่นที่ตรงกันได้ด้วย เพื่ออนุญาตให้แอปใช้เฉพาะข้อมูลความลึกที่แม่นยําเพียงพอสําหรับกรณีการใช้งานแต่ละรายการ

ความเข้ากันได้ของอุปกรณ์

ความลึกของข้อมูลดิบพร้อมใช้งานในอุปกรณ์ที่รองรับ Depth API ทั้งหมด Raw Depth API เหมือนกับ API ความลึกเต็มรูปแบบ ไม่จำเป็นต้องใช้เซ็นเซอร์วัดความลึกของฮาร์ดแวร์ที่รองรับ เช่น เซ็นเซอร์ Time of Flight (ToF) อย่างไรก็ตาม ทั้ง Raw Depth API และ API ความลึกเต็มรูปแบบจะใช้เซ็นเซอร์ของฮาร์ดแวร์ที่รองรับทั้งหมดที่อุปกรณ์อาจมี

Raw Depth API กับ Full Depth API

Raw Depth API จะแสดงค่าประมาณความลึกที่มีความแม่นยำสูงกว่า แต่รูปภาพความลึกแบบข้อมูลดิบอาจไม่รวมค่าประมาณความลึกสําหรับพิกเซลทั้งหมดในรูปภาพจากกล้อง ในทางตรงกันข้าม Depth API ที่สมบูรณ์จะให้ความลึกโดยประมาณสำหรับทุกพิกเซล แต่ข้อมูลความลึกต่อพิกเซลอาจมีความถูกต้องน้อยลงเนื่องจากการปรับค่าประมาณความลึกให้ราบรื่นและการประมาณค่าความลึก รูปแบบและขนาดของรูปภาพที่มีความลึกเหมือนกันใน API ทั้งคู่ ต่างกันที่เนื้อหาเท่านั้น

ตารางต่อไปนี้แสดงความแตกต่างระหว่าง Raw Depth API กับ Depth API เต็มรูปแบบโดยใช้รูปภาพเก้าอี้และโต๊ะในห้องครัว

API	การคืนสินค้า	รูปภาพจากกล้อง	รูปภาพความลึก	รูปภาพความเชื่อมั่น
API ความลึกของข้อมูลดิบ	รูปภาพความละเอียดดิบที่มีค่าประมาณความลึกที่แม่นยำมากสำหรับพิกเซลในรูปภาพจากกล้องบางส่วน ไม่ใช่ทั้งหมด รูปภาพความเชื่อมั่นที่ให้ความเชื่อมั่นในทุกพิกเซลรูปภาพที่มีความลึกดิบ พิกเซลรูปภาพจากกล้องที่ไม่มีค่าประมาณความลึกจะมีค่าความเชื่อมั่นเป็น 0
API ความลึกแบบเต็ม	รูปภาพที่มีความลึกแบบ "เรียบ" รูปเดียวที่ระบุความลึกโดยประมาณของทุกพิกเซล ไม่มีอิมเมจความเชื่อมั่นกับ API นี้			ไม่มี

รูปภาพความเชื่อมั่น

ในภาพความเชื่อมั่นที่แสดงโดย Raw Depth API พิกเซลที่อ่อนกว่าจะมีค่าความเชื่อมั่นสูงกว่า ขณะที่พิกเซลสีขาวแสดงถึงความเชื่อมั่นเต็ม และพิกเซลสีดำแสดงถึงไม่มีความเชื่อมั่น โดยทั่วไป พื้นที่ในภาพจากกล้องที่มีพื้นผิวมากกว่า เช่น ต้นไม้ จะมีความเชื่อมั่นด้านความลึกขั้นต้นสูงกว่าภูมิภาคที่ไม่มีพื้นผิว เช่น ผนังว่างเปล่า พื้นผิวที่ไม่มีพื้นผิวมักจะให้ค่าความเชื่อมั่นเป็น 0

หากอุปกรณ์เป้าหมายมีเซ็นเซอร์วัดความลึกของฮาร์ดแวร์ที่รองรับ ความเชื่อมั่นในพื้นที่ของรูปภาพที่อยู่ใกล้กล้องมากพอจะสูงขึ้นแม้บนพื้นผิวที่ไม่มีพื้นผิว

ต้นทุนการประมวลผล

ต้นทุนการประมวลผลของ Raw Depth API อยู่ที่ประมาณครึ่งหนึ่งของต้นทุนการประมวลผลสำหรับ Depth API เต็มรูปแบบ

Use Case

เมื่อใช้ Raw Depth API คุณจะได้รับภาพที่มีความลึกซึ่งแสดงรูปทรงเรขาคณิตของวัตถุในฉากได้ละเอียดยิ่งขึ้น ข้อมูลความลึกแบบข้อมูลดิบมีประโยชน์เมื่อสร้างประสบการณ์ AR ที่จำเป็นต้องใช้ความแม่นยำและรายละเอียดที่เพิ่มขึ้นสำหรับงานทำความเข้าใจเรขาคณิต ตัวอย่างการใช้งานมีดังนี้

• การสร้างใหม่แบบ 3 มิติ
• การวัด
• การตรวจจับรูปร่าง

ข้อกำหนดเบื้องต้น

ตรวจสอบว่าคุณเข้าใจแนวคิด AR พื้นฐาน และวิธีกำหนดค่าเซสชัน ARCore ก่อนดำเนินการต่อ

เปิดใช้ความลึก

ในเซสชัน ARCore ใหม่ ให้ตรวจสอบว่าอุปกรณ์ของผู้ใช้รองรับความลึกหรือไม่ อุปกรณ์ที่เข้ากันได้กับ ARCore บางรุ่นอาจไม่รองรับ Depth API เนื่องจากข้อจำกัดด้านพลังงานในการประมวลผล ความลึกจะปิดอยู่โดยค่าเริ่มต้นใน ARCore เพื่อประหยัดทรัพยากร เปิดใช้โหมดความลึกเพื่อให้แอปใช้ Depth API

var occlusionManager = // Typically acquired from the Camera game object.

// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
    // If depth mode is available on the user's device, perform
    // the steps you want here.
}

รับรูปภาพความลึกจริงล่าสุด

เรียกใช้ AROcclusionManager.TryAcquireEnvironmentDepthCpuImage() และใช้ AROcclusionManager.environmentDepthTemporalSmoothingRequested เพื่อรับรูปภาพความลึกแบบข้อมูลดิบล่าสุดบน CPU

รับรูปภาพความเชื่อมั่นเกี่ยวกับความลึกดิบล่าสุด

เรียกใช้ AROcclusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage() และใช้ AROcclusionManager.environmentDepthTemporalSmoothingRequested เพื่อรับอิมเมจความเชื่อมั่นบน CPU

// Attempt to get the latest environment depth image.
if (occlusionManager && occlusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage(out XRCpuImage image))
{
    using (image)
    {
        UpdateRawImage(m_RawEnvironmentDepthConfidenceImage, image);
    }
}
else
{
    m_RawEnvironmentDepthConfidenceImage.enabled = false;
}