在 Android 设备上录制时添加自定义数据

《The Recording》和借助 Playback API，您可以录制现场录像并使用它来代替实时摄像头画面。不过，这些记录仅包含视频和传感器数据。您还可以向时段录制添加自定义数据，并在播放期间将该数据返回给您，就好像该数据是相机图片的一部分一样。

ARCore 不会自动在录制内容中包含任何自定义数据。而是允许您在录制期间向 ARCore 帧添加自定义数据，并在播放期间从该帧检索相同的数据。您需要对应用进行编程，确保用户在回放会话时能够获得预期的数据。

自定义数据的使用场景

向录制内容添加自定义数据可增加 AR 应用的可能性。以下是一些具体用例。

随时随地使用 AR

过去，用户只能在合适的地点和时间获享 AR 体验。如果他们想在客厅放置 AR 灯具，必须亲身站在拍摄地看看 AR 灯具在那里的效果。借助自定义曲目，他们可以在客厅只录制一次视频，然后就可以随时为场景添加虚拟家具。

共同打造 AR 体验

由于没有现场会话要求，用户就拥有更多 AR 编辑选项，因而能够随时随地创建和访问独特的 AR 内容。例如，他们可以录制特定环境、添加增强现实效果并与好友分享。

前提条件

确保您了解 AR 基础概念 以及如何在继续之前配置 ARCore 现场录像。

使用自定义数据录制

使用自定义数据创建时段录音。

使用自定义数据初始化记录

如需使用自定义数据初始化录音，请按以下步骤操作。如需开始、停止和检查录制会话，请参阅录制和播放 AR 会话。

  1. 获取 RecordingConfig。
  2. 使用自定义 UUID 创建一个新的 Track。所有自定义数据都将保存在此处。
  3. 将 Track 添加到您在会话配置期间创建的 RecordingConfig。

Java

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
UUID trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893"); // from UUID generator
Track track = new Track(session).setId(trackUUID);

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track);

Kotlin

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
val trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893") // from UUID generator
val track = Track(session).setId(trackUUID)

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track)

所有新曲目均被视为单独的录音，每个录制的曲目占用自己的 UUID。

可选：使用其他数据配置轨道

为方便日后识别，您可以使用其他数据来配置轨道，以描述现场录像。例如，您可以通过添加备注来说明您录制现场录像的位置和时间：“本次现场录像是在下午在商场录制的”，以此“标记”曲目。

Java

// Set additional data on this track.
// For example, describe where you recorded the session.
byte[] customTrackData = "airport".getBytes(StandardCharsets.UTF_8);
track.setMetadata(ByteBuffer.wrap(customTrackData));

Kotlin

// Set additional data on this track.
// For example, describe where you recorded the session.
val customTrackData: ByteArray = "airport".toByteArray()
track.setMetadata(ByteBuffer.wrap(customTrackData))

可选：使用 MIME 类型配置轨道

如果您的应用需要与外部工具兼容，您可以使用 MIME 类型配置轨道，描述轨道中记录的数据类型。如果您未指定类型，数据将归类为 application/text。读取数据时，ARCore 会忽略 MIME 类型。

Java

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv");

Kotlin

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv")

录制自定义数据轨道

所有自定义轨道数据都会记录到 Frame 上。AR 会话使用 session.update() 获取帧。将数据录制到帧上的时间与播放过程中返回数据的时间相同。例如，如果您调用 recordTrackData() 并将值“A”设为 00:07:02，则播放曲目时，您将在 00:07:02 标记处得到“A”。

如需录制自定义数据轨道，请将数据转换为 ByteBuffer 并调用 recordTrackData()。

Java

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  Lamp lampProduct = Lamp.FLOOR; // a floor lamp
  // Convert the lamp data into a byte array.
  ByteBuffer lampData = ByteBuffer.wrap(new byte[] {(byte) lampProduct.ordinal()});
  frame.recordTrackData(trackUUID, lampData);
}

Kotlin

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  val lampProduct = Lamp.FLOOR // a floor lamp
  // Convert the lamp data into a byte array.
  val lampData = ByteBuffer.wrap(byteArrayOf(lampProduct.ordinal.toByte()))
  frame.recordTrackData(trackUUID, lampData)
}

播放自定义数据轨道

在播放期间从现场录像中提取自定义数据。

初始化播放

使用自定义数据初始化播放与初始化常规时段录音的播放相同。

返回自定义数据

调用 getUpdatedTrackData() 可检索在帧上记录的自定义数据。您可以从同一帧中检索多个轨道数据。例如，如果您在录制期间对同一帧调用了两次 recordTrackData()，则会在播放期间返回两个 TrackData 实例。

Java

// Fetch the data recorded on a select frame and place it in a container object.
Collection<TrackData> trackDataList = frame.getUpdatedTrackData(trackUUID);

Kotlin

// Fetch the data recorded on a select frame and place it in a container object.
val trackDataList: Collection<TrackData> = frame.getUpdatedTrackData(trackUUID)

TrackData 位于容器对象中后，提取自定义数据的字节。

Java

// Extract the bytes of custom data from the list of track data.
for (TrackData trackData : trackDataList) {
  ByteBuffer bytes = trackData.getData();
  Lamp lamp = Lamp.values()[bytes.get()]; // this is the lamp!
}

Kotlin

// Extract the bytes of custom data from the list of track data.
for (trackData in trackDataList) {
  val bytes = trackData.data
  val lamp = Lamp.values()[bytes.get().toInt()] // this is the lamp!
}

后续步骤