Android NDK で周囲の建物や地形を使用する（C）

Streetscape Geometry API は、シーン内の地形、建物、その他の構造物のジオメトリを提供します。このジオメトリは、ヒットテスト API を介してオクルージョン、レンダリング、AR コンテンツの配置に使用できます。街並みのジオメトリデータは、Google ストリートビューの画像から取得されます。

Geospatial API を設定する

街並みのジオメトリを使用するには、プロジェクトで Geospatial API を設定する必要があります。Geospatial API の有効化の手順に沿って、Geospatial API を設定します。

街並みのジオメトリを有効にする

Geospatial API は、ArGeospatialMode が ArGeospatialModeEnabled に設定され、ArStreetscapeGeometryMode が ArStreetscapeGeometryModeEnabled に設定されている場合に、Streetscape Geometry データを取得します。

// Create a session config.
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);

// Enable the Geospatial API.
ArConfig_setGeospatialMode(ar_session, ar_config, AR_GEOSPATIAL_MODE_ENABLED);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Enable Streetscape Geometry.
ArConfig_setStreetscapeGeometryMode(ar_session, ar_config, AR_STREETSCAPE_GEOMETRY_MODE_ENABLED);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Release config resources.
ArConfig_destroy(ar_config);

ARCore セッションで街並みのジオメトリを取得する

ArSession_getAllTrackables() を使用して結果をフィルタし、AR_TRACKABLE_STREETSCAPE_GEOMETRY を使用して結果をフィルタします。

ArTrackableList* trackable_list = NULL;
ArTrackableList_create(ar_session, &trackable_list);
ArSession_getAllTrackables(ar_session, AR_TRACKABLE_STREETSCAPE_GEOMETRY, trackable_list);

`ArStreetscapeGeometry` について理解する

ArStreetscapeGeometry には、建物に関する情報が含まれます。

ArStreetscapeGeometry_getType()
StreetscapeGeometry を地形または建物として識別します。
ArStreetscapeGeometry_acquireMesh()
この地形または建物に対応するポリゴン ArMesh を取得します。
ArStreetscapeGeometry_getMeshPose()
ジオメトリの原点を記述します。ArMesh 内のすべてのポイントは ArStreetscapeGeometry_getMeshPose() で変換する必要があります。
ArStreetscapeGeometry_getQuality()
メッシュデータの品質を提供します。レベルの詳細については、CityGML 2.0 標準をご覧ください。

建物の LOD 1

AR_STREETSCAPE_GEOMETRY_QUALITY_BUILDING_LOD_1 は、上部が平らになるように押し出された建物のフットプリントで構成されています。建物の高さが正確でない場合があります。

建物の LOD 2

AR_STREETSCAPE_GEOMETRY_QUALITY_BUILDING_LOD_2 は、より忠実度の高いジオメトリになります。メッシュの壁と屋根は、建物の形状に近づきます。煙突や屋根の通気口など、小さな特徴はメッシュの外側に突出することがあります。

`ArMesh` について理解する

ArMesh は、ストリートビュージオメトリのサーフェス再構成を表すポリゴンメッシュです。各 ArMesh には、頂点バッファとインデックスバッファが含まれます。

ArMesh_getVertexListSize()
このメッシュ内の頂点の数を取得します。
ArMesh_getVertexList()
メッシュ頂点の連結された位置を、ArStreetscapeGeometry_getMeshPose() を基準とする座標で取得します。
ArMesh_getIndexListSize()
このメッシュのインデックス数を取得します。
ArMesh_getIndexList()
面を構成する頂点のインデックスを取得します。

AR コンテンツを `ArStreetscapeGeometry` に添付する

ストリートビュージオメトリに AR コンテンツを適用する方法は 2 つあります。

Geospatial Depth を有効にして、Depth ヒットテストを使用します。これは推奨される簡単な方法です。
ArTrackable_acquireNewAnchor() を使用して、ArStreetscapeGeometry に接続された特定のポーズでアンカーを作成します。このアンカーは、親の ArStreetscapeGeometry からトラッキング状態を継承します。

`ArStreetscapeGeometry` に対してヒットテストを実行する

ArFrame_hitTest を使用すると、ストリートビュージオメトリに対してヒットテストを行うことができます。交差点が検出されると、ArHitResult には、ヒットした場所のポーズ情報と、ヒットした ArStreetscapeGeometry への参照が含まれます。このストリートビュージオメトリを ArTrackable_acquireNewAnchor() に渡して、それに関連付けられたアンカーを作成できます。

ArHitResultList *hit_result_list = NULL;
ArHitResult *hit_result = NULL;
ArHitResultList_create(ar_session, &hit_result_list);
ArHitResult_create(ar_session, &hit_result);

ArFrame_hitTestRay(ar_session, ar_frame, origin, direction, hit_result_list);
ArHitResultList_getItem(ar_session, hit_result_list, 0, hit_result);

ArAnchor *out_anchor = NULL;
ArStatus status = ArHitResult_acquireNewAnchor(ar_session, hit_result, &out_anchor);
CHECK(status == AR_SUCCESS);

Geospatial Depth を有効にする

Geospatial Depth は、Streetscape Geometry とローカルセンサー入力を組み合わせて、深度データを補正します。Geospatial Depth が有効になっている場合、出力の深度画像と元の深度画像が変更され、ローカルで測定された深度に加えて、ラスター化された Streetscape Geometry が含まれます。これにより、デプスを使用したポーズの精度が向上する可能性があります。