Google I/O プログラムの詳細が公開されました。セッションの詳細

このページは Cloud Translation API によって翻訳されました。

Android NDK での記録中にカスタムデータを追加する

Recording & Playback API を使用すると、セッションを録画して、リアルタイムのカメラフィードの代わりに使用できます。ただし、これらの記録には動画とセンサーデータのみが含まれます。また、セッションの録音にカスタムデータを追加して、あたかもカメラ画像の一部であるかのように、再生中にそのデータを返すこともできます。

ARCore では、録画にカスタムデータが自動的に含まれることはありません。むしろ、録画中に ARCore フレームにカスタムデータを追加し、再生中にフレームから同じデータを取得できます。セッションを再生したときに、ユーザーが期待するデータを返すようにアプリをプログラミングするかどうかは、デベロッパー次第です。

カスタムデータのユースケース

録画にカスタムデータを追加すると、AR アプリの可能性が広がります。具体的なユースケースは次のとおりです。

外出先で AR を活用

これまでは、ユーザーが AR エクスペリエンスにアクセスできるのは適切な場所とタイミングでのみでした。AR ランプをリビングルームに設置する場合は、実際にその場所に立ってランプがどのように表示されるかを確認する必要があります。カスタムトラックでは、リビングルームを 1 回録画して、いつでもバーチャルな家具を追加することが可能です。

AR エクスペリエンスを共同作成

ライブセッションが不要な場合、ユーザーは AR 編集の選択肢が多くなり、いつでもどこでも独自の AR コンテンツを作成してアクセスできます。たとえば、特定の環境を録画したり、拡張現実効果を追加したり、友人と共有したりできます。

前提条件

続行する前に、AR の基本的なコンセプトと ARCore セッションを構成する方法を理解しておいてください。

カスタムデータで記録する

カスタムデータでセッションの録音を作成します。

カスタムデータで記録を初期化する

カスタムデータを使用して記録を初期化する手順は次のとおりです。録画セッションの開始、停止、確認については、AR セッションを録画、再生するをご覧ください。

ArRecordingConfig を取得します。
カスタム UUID を使用して新しい ArTrack を作成します。すべてのカスタムデータはここに保存されます。
セッション設定時に作成した ArRecordingConfig に ArTrack を追加します。

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use to get
// your data back during playback.
ArTrack* track = NULL;
ArTrack_create(ar_session, &track);
// String from UUID generator: de5ec7a4-09ec-4c48-b2c3-a98b66e71893
uint8_t uuid_byte_array[16] = {0xde, 0x5e, 0xc7, 0xa4, 0x09, 0xec,
                               0x4c, 0x48, 0xb2, 0xc3, 0xa9, 0x8b,
                               0x66, 0xe7, 0x18, 0x93};
ArTrack_setId(ar_session, track, uuid_byte_array);

// Add the ArTrack to the recording_config.
// recording_config must already be configured.
ArRecordingConfig_addTrack(ar_session, recording_config, track);
ArTrack_destroy(track);

新しいトラックはすべて個別の録音として扱われ、録音された各トラックは固有の UUID を占有します。

省略可: 追加データを使用してトラックを設定する

後で確認できるように、セッションの録音を説明する追加データを含むトラックを設定できます。たとえば、「このセッションは午後にショッピングモールで録画されました」のように、セッションの録画場所と時間を説明するメモを追加して、トラックに「タグ付け」できます。

// Set additional data on this track.
// For example, describe where you recorded the session.
uint8_t metadata_size = 4;
uint8_t metadata[5] = "HOME";
ArTrack_setMetadata(ar_session, track, metadata, metadata_size);

省略可: MIME タイプを指定してトラックを設定する

アプリが外部ツールに対応する必要がある場合は、トラックに記録されるデータの種類を表す MIME タイプを使用してトラックを設定できます。タイプを指定しない場合、データは application/text に分類されます。ARCore は、データを読み取るときに MIME タイプを無視します。

// Set a MIME type for compatibility with external tools.
ArTrack_setMimeType(ar_session, track, "text/csv");

カスタムデータトラックの記録

すべてのカスタムトラックデータは ArFrame に記録されます。AR セッションは、ArSession_update() を使用してフレームを取得します。データをフレームに記録した時刻は、再生中にデータが返される時刻です。たとえば、00:07:02 で値「A」を指定して ArFrame_recordTrackData() を呼び出した場合、トラックの再生時に 00:07:02 のマークで「A」が返されます。

カスタムデータトラックを記録するには、ArFrame_recordTrackData() を呼び出します。

// Place an AR lamp in a room.
if (place_lamp_button_was_pressed) {
  uint8_t lamp_data[1] = {lamp_id};
  ArFrame_recordTrackData(ar_session, frame, uuid_byte_array, lamp_data,
                          /*payload_size=*/1);
}

カスタムデータトラックの再生

再生中にセッションの録音からカスタムデータを抽出します。

再生を初期化する

カスタムデータを使用した再生の初期化は、通常のセッション録音の再生の初期化と同じです。

カスタムデータを返す

ArFrame_getUpdatedTrackData() を呼び出して、ArFrame に記録されたカスタムデータを取得します。同じフレームから複数のトラックデータを取得することもできます。たとえば、録画中に同じフレームで ArFrame_recordTrackData() を 2 回呼び出すと、再生中に ArTrackData のインスタンスが 2 回返されます。

// Create the container to hold the track data retrieved from the frame.
ArTrackDataList* fetched_track_data_list;
ArTrackDataList_create(ar_session, &fetched_track_data_list);

// Fetch the track data from the frame into the created container.
ArFrame_getUpdatedTrackData(ar_session, frame, uuid_byte_array,
                            fetched_track_data_list);

ArTrackData がコンテナオブジェクトに取り込まれたら、カスタムデータのバイトを抽出します。

// Fetch the size of the track data list.
int32_t fetched_track_data_list_size;
ArTrackDataList_getSize(ar_session, fetched_track_data_list,
                        &fetched_track_data_list_size);

// Iterate through the list.
for (int i = 0; i < fetched_track_data_list_size; i++) {
  ArTrackData* fetched_track_data;
  ArTrackDataList_acquireItem(ar_session, fetched_track_data_list, i,
                              &fetched_track_data);
  // Process "fetched_track_data->sample" as desired
  ArTrackData_release(fetched_track_data);
}
ArTrackDataList_destroy(fetched_track_data_list);

次のステップ

録画と再生の Codelab で、録画と再生機能を使用して独自のアプリを作成する方法を学習します。