คำแนะนำเฉพาะแพลตฟอร์ม
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API ช่วยให้นักพัฒนาซอฟต์แวร์เข้าใจฉากที่อยู่รอบๆ ผู้ใช้ ซึ่งจำเป็นสำหรับประสบการณ์ AR คุณภาพสูงจำนวนมาก Scene Semantics API ที่สร้างขึ้นบนโมเดล ML จะให้ข้อมูลอรรถศาสตร์แบบเรียลไทม์ ซึ่งเสริมข้อมูลทางเรขาคณิตที่มีอยู่ใน ARCore
จากรูปภาพฉากกลางแจ้ง API จะแสดงผลป้ายกำกับสำหรับแต่ละพิกเซลในชุดชั้นเชิงความหมายที่เป็นประโยชน์ เช่น ท้องฟ้า อาคาร ต้นไม้ ถนน ทางเท้า ยานพาหนะ คน และอื่นๆ นอกจากป้ายกำกับพิกเซลแล้ว Scene Semantics API ยังเสนอค่าความเชื่อมั่นสำหรับป้ายกำกับพิกเซลแต่ละป้ายและวิธีง่ายๆ ในการค้นหาความแพร่หลายของป้ายกำกับที่กำหนดในสภาพแวดล้อมกลางแจ้ง
ตัวอย่างรูปภาพอินพุต รูปภาพเชิงอรรถศาสตร์ของป้ายกำกับพิกเซล และรูปภาพความเชื่อมั่นที่เกี่ยวข้องจากซ้ายไปขวา
เมื่อใช้ Scene Semantics API นักพัฒนาซอฟต์แวร์จะสามารถระบุองค์ประกอบของฉากบางอย่างได้ เช่น ถนนและทางเท้า เพื่อช่วยนำทางผู้ใช้ผ่านเมืองที่ไม่คุ้นเคย ผู้คนและยานพาหนะในการแสดงภาพการซ้อนทับบนวัตถุที่มีการเปลี่ยนแปลง ท้องฟ้าที่สร้างพระอาทิตย์ตกดินได้ตลอดเวลา และอาคารต่างๆ เพื่อปรับเปลี่ยนรูปลักษณ์และยึดวัตถุเสมือน
ป้ายกำกับความหมายและคุณภาพของ
Scene Semantics API มีป้ายกำกับหลายรายการ โดยแต่ละรายการมีคุณภาพหรือความน่าเชื่อถือที่สอดคล้องกัน โดยทั่วไป โมเดล ML จะสามารถคาดการณ์คลาสของวัตถุ/พื้นผิวทั่วไปของวัตถุหรือพื้นผิวที่มีขนาดใหญ่กว่าและพบได้ทั่วไปมากกว่าคลาสของวัตถุ/พื้นผิวขนาดเล็กหรือหายากกว่า ชั้นเรียนจะแบ่งออกเป็นระดับคุณภาพต่อไปนี้ โดยจัดอันดับจากสูงไปต่ำ
| ระดับคุณภาพของป้ายกำกับความหมาย | |
|---|---|
| คอมโพเนนต์ฉากหลัก |
|
| รายละเอียดฉากหลัก |
|
| รายละเอียดฉากรอง |
|
ความเข้ากันได้ของอุปกรณ์
Scene Semantics API มีรายการอุปกรณ์ที่รองรับเหมือนกับ Depth API โปรดดูหน้าอุปกรณ์ที่รองรับ ARCore เพื่อดูรายการอุปกรณ์ล่าสุดที่รองรับ API ทั้ง 2 รายการ
Use Case ที่รองรับ
Scene Semantics API ออกแบบมาเพื่อใช้ในสถานการณ์ต่อไปนี้
ฉากกลางแจ้ง: รองรับฉากกลางแจ้งเท่านั้นและไม่ได้มีไว้สำหรับการใช้งานในอาคาร
การวางแนวตั้ง: ควรใช้เฉพาะในโหมดการวางแนวเริ่มต้นของอุปกรณ์เท่านั้น (เช่น แนวตั้ง) เราไม่ได้รับประกันคุณภาพของป้ายกำกับความหมายสำหรับโหมดแนวนอน