独自のアプリで拡張画像を使用する方法を学びます。
前提条件
続行する前に、基本的な AR コンセプトと ARCore セッションを構成する方法を理解してください。
画像データベースを作成する
参照画像を保存する ArAugmentedImageDatabase
を作成します。次の 2 つの方法があります。
- 空のデータベースを作成する
ArAugmentedImageDatabase* ar_augmented_image_database = NULL; ArAugmentedImageDatabase_create(ar_session, &ar_augmented_image_database);
- 画像データベース ファイルから読み取ります。
util::LoadFileFromAssetManager
については、[AugmentedImage C サンプルアプリ] をご覧ください。
std::string database_buffer; util::LoadFileFromAssetManager(asset_manager_, "sample_database.imgdb", &database_buffer); uint8_t* raw_buffer = reinterpret_cast<uint8_t*>(&database_buffer.front()); ArAugmentedImageDatabase* ar_augmented_image_database = NULL; const ArStatus status = ArAugmentedImageDatabase_deserialize( ar_session, raw_buffer, database_buffer.size(), &ar_augmented_image_database);
データベース ファイルは、画像ツールを使用するか、ArAugmentedImageDatabase_serialize()
を呼び出して作成できます。
データベースに画像を追加する
目的の参照画像がデータベース ファイルからすでに読み込まれている場合は、このステップは省略できます。実行時に画像を追加するには、次のように ArAugmentedImageDatabase_addImage()
を呼び出します。util
名前空間の関数については、augmented_image_c サンプルアプリをご覧ください。
int32_t width, height, stride, index; uint8_t* image_pixel_buffer = nullptr; constexpr const char kSampleImageName[] = "default.jpg"; bool load_image_result = util::LoadImageFromAssetManager( kSampleImageName, &width, &height, &stride, &image_pixel_buffer); uint8_t* grayscale_buffer = nullptr; util::ConvertRgbaToGrayscale(image_pixel_buffer, width, height, stride, &grayscale_buffer); int32_t grayscale_stride = stride / 4; const ArStatus status = ArAugmentedImageDatabase_addImage( ar_session_, ar_augmented_image_database, kSampleImageName, grayscale_buffer, width, height, grayscale_stride, &index); // If the physical size of the image is known, you can instead use // ArStatus ArAugmentedImageDatabase_addImageWithPhysicalSize // This will improve the initial detection speed. ARCore will still actively // estimate the physical size of the image as it is viewed from multiple // viewpoints. delete[] image_pixel_buffer; delete[] grayscale_buffer;
index
値と name
値は、後でどの参照画像が検出されたかを特定するために使用されます。
画像トラッキングを有効にする
画像データベースを登録して画像をトラッキングするように ARCore セッションを構成します。
ArConfig_setAugmentedImageDatabase(ar_session_, ar_config, ar_augmented_image_database); const ArStatus status = ArSession_configure(ar_session_, ar_config);
セッション中、ARCore はカメラ画像の特徴点を使用して、画像データベース内の特徴点と照合します。
AR セッションで拡張画像を見つける
一致した画像を取得するには、フレーム更新ループで更新された ArAugmentedImage
をポーリングします。
// Update loop, in onDrawFrame ArTrackableList* updated_image_list = nullptr; ArTrackableList_create(ar_session_, &updated_image_list); ArFrame_getUpdatedTrackables( ar_session_, ar_frame_, AR_TRACKABLE_AUGMENTED_IMAGE, updated_image_list); int32_t image_list_size; ArTrackableList_getSize(ar_session_, updated_image_list, &image_list_size); for (int i = 0; i < image_list_size; ++i) { ArTrackable* ar_trackable = nullptr; ArTrackableList_acquireItem(ar_session_, updated_image_list, i, &ar_trackable); ArAugmentedImage* image = ArAsAugmentedImage(ar_trackable); ArTrackingState tracking_state; ArTrackable_getTrackingState(ar_session_, ar_trackable, &tracking_state); int image_index; ArAugmentedImage_getIndex(ar_session_, image, &image_index); if (tracking_state == AR_TRACKING_STATE_TRACKING) { util::ScopedArPose scopedArPose(ar_session_); ArAugmentedImage_getCenterPose(ar_session_, image, scopedArPose.GetArPose()); ArAnchor* image_anchor = nullptr; const ArStatus status = ArTrackable_acquireNewAnchor( ar_session_, ar_trackable, scopedArPose.GetArPose(), &image_anchor); // For example, you can now render content at the image anchor, choosing // content based on the image index (or name). } }
さまざまなユースケースのサポート
ARCore が拡張画像を検出すると、その拡張画像の Trackable
が作成され、ArTrackingState
が TRACKING
に、ArAugmentedImageTrackingMethod
が FULL_TRACKING
に設定されます。トラッキング中の画像がカメラの視界から外れると、ARCore は引き続き ArTrackingState
を TRACKING
に設定しますが、ArAugmentedImageTrackingMethod
を LAST_KNOWN_POSE
に変更し、画像の向きと位置を引き続き提供します。
アプリでは、想定されるユースケースに応じて、トラッキング状態とトラッキング方法を使い分けてください。
画像を修正しました。固定された画像(移動しないことが想定される画像)を扱うほとんどのユースケースでは、
ArTrackingState
を使用して画像が検出されたかどうか、その位置が既知かどうかを判断できます。ArAugmentedImageTrackingMethod
は無視できます。画像の移動。アプリで動く画像を追跡する必要がある場合は、
ArTrackingState
とArAugmentedImageTrackingMethod
の両方を使用して、画像が検出されたかどうか、その位置が既知かどうかを判断します。
ユースケース | 固定画像 | 動画 |
---|---|---|
例 | 壁に貼られたポスター | バスの側面にある広告 |
ポーズが有効とみなされるのは、次の場合です。 |
ArTrackingState == TRACKING |
ArTrackingState == TRACKING
および ArAugmentedImageTrackingMethod == FULL_TRACKING
|