เพิ่มข้อมูลที่กำหนดเองขณะบันทึกใน Android NDK

API การบันทึกและเล่นช่วยให้คุณบันทึกเซสชันและใช้แทนฟีดกล้องแบบเรียลไทม์ได้ อย่างไรก็ตาม การบันทึกเหล่านี้มีเฉพาะข้อมูลวิดีโอและเซ็นเซอร์เท่านั้น คุณยังสามารถเพิ่มข้อมูลที่กำหนดเองลงในการบันทึกเซสชันและส่งข้อมูลกลับมาในระหว่างการเล่นได้ เสมือนว่าข้อมูลนั้นเป็นส่วนหนึ่งของรูปภาพจากกล้อง

ARCore จะไม่รวมข้อมูลที่กำหนดเองไว้ในเสียงที่บันทึกไว้โดยอัตโนมัติ แต่ช่วยให้คุณสามารถเพิ่มข้อมูลที่กำหนดเองลงในเฟรม ARCore ขณะบันทึกและดึงข้อมูลเดียวกันจากเฟรมระหว่างการเล่นได้ คุณจะเลือกโปรแกรมแอปในลักษณะที่ผู้ใช้จะได้รับข้อมูลตามที่คาดไว้เมื่อเล่นเซสชันกลับคืนมาหรือไม่

Use Case สำหรับข้อมูลที่กำหนดเอง

การเพิ่มข้อมูลที่กำหนดเองลงในไฟล์บันทึกเสียงจะช่วยให้ผู้คนใช้แอป AR ได้หลากหลายมากขึ้น กรณีการใช้งานเฉพาะมีดังนี้

ใช้ AR ได้ทุกที่ทุกเวลา

ที่ผ่านมาผู้ใช้จะเข้าถึงประสบการณ์ AR ได้ในสถานที่และเวลาที่เหมาะสมเท่านั้น หากนักเรียนต้องการติดตั้งโคมไฟ AR ในห้องนั่งเล่น นักเรียนจะต้องยืนที่ตำแหน่งนั้นเพื่อดูว่าโคมไฟตรงนั้นเป็นอย่างไร แทร็กที่กำหนดเองช่วยให้ครีเอเตอร์บันทึกห้องนั่งเล่นของตัวเองเพียงครั้งเดียว และเพิ่มเฟอร์นิเจอร์เสมือนจริงลงในฉากได้ทุกเมื่อที่ต้องการ

สร้างประสบการณ์ AR ร่วมกัน

โดยผู้ใช้จะมีตัวเลือกเพิ่มเติมสำหรับการแก้ไข AR เพื่อสร้างและเข้าถึงเนื้อหา AR ที่ไม่ซ้ำกันได้ทุกที่ทุกเวลา โดยไม่ต้องมีข้อกำหนดของเซสชันสด เช่น ผู้เรียนจะบันทึกสภาพแวดล้อมที่กำหนด เพิ่มเอฟเฟกต์ Augmented Reality และแชร์กับเพื่อนๆ ได้

ข้อกำหนดเบื้องต้น

ตรวจสอบว่าคุณเข้าใจแนวคิด AR พื้นฐาน และวิธีกำหนดค่าเซสชัน ARCore ก่อนดำเนินการต่อ

บันทึกด้วยข้อมูลที่กำหนดเอง

สร้างการบันทึกเซสชันด้วยข้อมูลที่กำหนดเอง

เริ่มต้นการบันทึกด้วยข้อมูลที่กำหนดเอง

ทำตามขั้นตอนต่อไปนี้เพื่อเริ่มการบันทึกด้วยข้อมูลที่กำหนดเอง หากต้องการเริ่ม หยุด และตรวจสอบเซสชันการบันทึก โปรดดูหัวข้อบันทึกและเล่นเซสชัน AR

  1. รับ ArRecordingConfig
  2. สร้าง ArTrack ใหม่ด้วย UUID ที่กำหนดเอง ข้อมูลที่กำหนดเองทั้งหมดจะบันทึกไว้ที่นี่
  3. เพิ่ม ArTrack ลงใน ArRecordingConfig ที่คุณสร้างระหว่างการกำหนดค่าเซสชัน
// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use to get
// your data back during playback.
ArTrack* track = NULL;
ArTrack_create(ar_session, &track);
// String from UUID generator: de5ec7a4-09ec-4c48-b2c3-a98b66e71893
uint8_t uuid_byte_array[16] = {0xde, 0x5e, 0xc7, 0xa4, 0x09, 0xec,
                               0x4c, 0x48, 0xb2, 0xc3, 0xa9, 0x8b,
                               0x66, 0xe7, 0x18, 0x93};
ArTrack_setId(ar_session, track, uuid_byte_array);

// Add the ArTrack to the recording_config.
// recording_config must already be configured.
ArRecordingConfig_addTrack(ar_session, recording_config, track);
ArTrack_destroy(track);

แทร็กใหม่ทั้งหมดจะถือว่าเป็นการบันทึกแยกกัน โดยที่แต่ละแทร็กที่บันทึกไว้จะมี UUID ของตัวเอง

ไม่บังคับ: กำหนดค่าแทร็กด้วยข้อมูลเพิ่มเติม

ในกรณีที่คุณต้องการค้นหาในภายหลัง คุณสามารถกำหนดค่าแทร็กด้วยข้อมูลเพิ่มเติมที่อธิบายการบันทึกเซสชัน ตัวอย่างเช่น คุณสามารถ "ติดแท็ก" แทร็กโดยเพิ่มโน้ตที่อธิบายสถานที่และเวลาที่คุณบันทึกเซสชัน เช่น "เซสชันนี้มีการบันทึกที่ห้างสรรพสินค้าในตอนบ่าย"

// Set additional data on this track.
// For example, describe where you recorded the session.
uint8_t metadata_size = 4;
uint8_t metadata[5] = "HOME";
ArTrack_setMetadata(ar_session, track, metadata, metadata_size);

ไม่บังคับ: กำหนดค่าแทร็กด้วยประเภท MIME

หากแอปของคุณจำเป็นต้องทำงานร่วมกับเครื่องมือภายนอกได้ คุณสามารถกำหนดค่าแทร็กด้วยประเภท MIME ที่อธิบายประเภทข้อมูลที่บันทึกไว้ในแทร็ก หากคุณไม่ระบุประเภท ข้อมูลจะจัดอยู่ในหมวดหมู่ application/text ARCore จะไม่สนใจประเภท MIME เมื่ออ่านข้อมูล

// Set a MIME type for compatibility with external tools.
ArTrack_setMimeType(ar_session, track, "text/csv");

บันทึกการติดตามข้อมูลที่กำหนดเอง

ข้อมูลแทร็กที่กำหนดเองทั้งหมดจะบันทึกไปยัง ArFrame เซสชัน AR จะใช้ ArSession_update() เพื่อสร้างเฟรม เวลาที่คุณบันทึกข้อมูลลงในเฟรมคือเวลาเดียวกับที่ระบบจะส่งคืนข้อมูลระหว่างการเล่น เช่น หากเรียก ArFrame_recordTrackData() ด้วยค่า "A" ที่ 00:07:02 คุณจะได้รับ "A" คืนที่เครื่องหมาย 00:07:02 เมื่อมีการเล่นแทร็ก

หากต้องการบันทึกการติดตามข้อมูลที่กำหนดเอง ให้โทรหา ArFrame_recordTrackData()

// Place an AR lamp in a room.
if (place_lamp_button_was_pressed) {
  uint8_t lamp_data[1] = {lamp_id};
  ArFrame_recordTrackData(ar_session, frame, uuid_byte_array, lamp_data,
                          /*payload_size=*/1);
}

เล่นแทร็กข้อมูลที่กำหนดเอง

ดึงข้อมูลที่กำหนดเองจากการบันทึกเซสชันระหว่างการเล่น

เริ่มต้นการเล่น

การเริ่มต้นการเล่นด้วยข้อมูลที่กำหนดเองจะเหมือนกับการเริ่มต้นการเล่นการบันทึกเซสชันตามปกติ

แสดงข้อมูลที่กำหนดเอง

โทร ArFrame_getUpdatedTrackData() เพื่อดึงข้อมูลที่กําหนดเองที่บันทึกไว้ใน ArFrame คุณสามารถดึงข้อมูลแทร็กหลายรายการจากเฟรมเดียวกัน เช่น หากโทรหา ArFrame_recordTrackData() 2 ครั้งในเฟรมเดียวกันระหว่างการบันทึก คุณจะได้รับ ArTrackData 2 ครั้งระหว่างการเล่น

// Create the container to hold the track data retrieved from the frame.
ArTrackDataList* fetched_track_data_list;
ArTrackDataList_create(ar_session, &fetched_track_data_list);

// Fetch the track data from the frame into the created container.
ArFrame_getUpdatedTrackData(ar_session, frame, uuid_byte_array,
                            fetched_track_data_list);

เมื่อ ArTrackData อยู่ใน Container Object แล้ว ให้แยกไบต์ของข้อมูลที่กำหนดเอง

// Fetch the size of the track data list.
int32_t fetched_track_data_list_size;
ArTrackDataList_getSize(ar_session, fetched_track_data_list,
                        &fetched_track_data_list_size);

// Iterate through the list.
for (int i = 0; i < fetched_track_data_list_size; i++) {
  ArTrackData* fetched_track_data;
  ArTrackDataList_acquireItem(ar_session, fetched_track_data_list, i,
                              &fetched_track_data);
  // Process "fetched_track_data->sample" as desired
  ArTrackData_release(fetched_track_data);
}
ArTrackDataList_destroy(fetched_track_data_list);

สิ่งที่จะเกิดขึ้นหลังจากนี้