Android NDK के लिए झटपट प्लेसमेंट की डेवलपर गाइड

अपने ऐप्लिकेशन में इंस्टैंट प्लेसमेंट एपीआई इस्तेमाल करने का तरीका जानें.

ज़रूरी शर्तें

आगे बढ़ने से पहले, पक्का करें कि आपने बुनियादी एआर (ऑगमेंटेड रिएलिटी) सिद्धांत और ARCore सेशन को कॉन्फ़िगर करने का तरीका समझ लिया है.

झटपट प्लेसमेंट की मदद से नया सेशन कॉन्फ़िगर करें

नए ARCore सेशन में, इंस्टैंट प्लेसमेंट मोड चालू करें.

// Create a session config.
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);

// Enable Instant Placement mode.
ArConfig_setInstantPlacementMode(ar_session, ar_config,
                                 AR_INSTANT_PLACEMENT_MODE_LOCAL_Y_UP);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Release config resources.
ArConfig_destroy(ar_config);

कोई ऑब्जेक्ट रखें

नए ARCore सेशन में, ArFrame_hitTestInstantPlacement के साथ इंस्टैंट प्लेसमेंट हिट-टेस्ट करें. इसके बाद, हिट नतीजे के ARTrackable से ArInstantPlacementPoint पोज़ का इस्तेमाल करके, नया ArAnchor बनाएं.

ArFrame* ar_frame = NULL;
if (ArSession_update(ar_session, ar_frame) != AR_SUCCESS) {
  // Get the latest frame.
  LOGE("ArSession_update error");
  return;
}

// Place an object on tap.
// Use the estimated distance from the user's device to the closest
// available surface, based on expected user interaction and behavior.
float approximate_distance_meters = 2.0f;

ArHitResultList* hit_result_list = NULL;
ArHitResultList_create(ar_session, &hit_result_list);
CHECK(hit_result_list);

// Returns a single result if the hit test was successful.
ArFrame_hitTestInstantPlacement(ar_session, ar_frame, x, y,
                                approximate_distance_meters, hit_result_list);

int32_t hit_result_list_size = 0;
ArHitResultList_getSize(ar_session, hit_result_list, &hit_result_list_size);
if (hit_result_list_size > 0) {
  ArHitResult* ar_hit_result = NULL;
  ArHitResult_create(ar_session, &ar_hit_result);
  CHECK(ar_hit_result);
  ArHitResultList_getItem(ar_session, hit_result_list, 0, ar_hit_result);
  if (ar_hit_result == NULL) {
    LOGE("ArHitResultList_getItem error");
    return;
  }

  ArTrackable* ar_trackable = NULL;
  ArHitResult_acquireTrackable(ar_session, ar_hit_result, &ar_trackable);
  if (ar_trackable == NULL) {
    LOGE("ArHitResultList_acquireTrackable error");
    return;
  }
  ArTrackableType ar_trackable_type = AR_TRACKABLE_NOT_VALID;
  ArTrackable_getType(ar_session, ar_trackable, &ar_trackable_type);

  if (ar_trackable_type == AR_TRACKABLE_INSTANT_PLACEMENT_POINT) {
    ArInstantPlacementPoint* point = (ArInstantPlacementPoint*)ar_trackable;

    // Gets the pose of the Instant Placement point.
    ArPose* ar_pose = NULL;
    ArPose_create(ar_session, NULL, &ar_pose);
    CHECK(ar_pose);
    ArInstantPlacementPoint_getPose(ar_session, point, ar_pose);

    // Attaches an anchor to the Instant Placement point.
    ArAnchor* anchor = NULL;
    ArStatus status = ArTrackable_acquireNewAnchor(ar_session, ar_trackable,
                                                   ar_pose, &anchor);
    ArPose_destroy(ar_pose);
    // Render content at the anchor.
    // ...
  }

  ArTrackable_release(ar_trackable);
}

इंस्टैंट प्लेसमेंट अनुमानित दूरी के साथ स्क्रीन स्पेस ट्रैकिंग की सुविधा देता है. यह सुविधा, असल दुनिया में इंस्टैंट प्लेसमेंट पॉइंट के ऐंकर हो जाने पर, अपने-आप पूरी ट्रैकिंग पर स्विच हो जाती है. मौजूदा पोज़ को ArInstantPlacementPoint_getPose() की मदद से वापस पाएं. ArInstantPlacementPoint_getTrackingMethod() की मदद से, ट्रैकिंग का मौजूदा तरीका पाएं.

हालांकि, ARCore किसी भी ओरिएंटेशन की सतह के लिए, इंस्टैंट प्लेसमेंट के हिट-टेस्ट टेस्ट कर सकता है, लेकिन हिट के नतीजों में हमेशा +Y ऊपर की ओर एक पोज़ दिखेगा. यह पोज़, गुरुत्वाकर्षण दिशा के उलट होगा. हॉरिज़ॉन्टल प्लैटफ़ॉर्म पर हिट-टेस्ट, ज़्यादा तेज़ी से सटीक पोज़िशन दिखाते हैं.

झटपट प्लेसमेंट पॉइंट ट्रैकिंग के तरीके पर नज़र रखना

अगर ARCore के पास ArFrame_hitTestInstantPlacement से मिला ArInstantPlacementPoint के लिए सटीक 3D पोज़ है, तो यह ट्रैकिंग तरीके AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING से शुरू होता है. ऐसा न करने पर, यह ट्रैकिंग के तरीके AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE से शुरू होगा और ARCore के सटीक 3D पोज़ के मिलने के बाद, वह AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING पर ट्रांसफ़र हो जाएगा. ट्रैकिंग का तरीका AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING होने के बाद, इसे AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE पर वापस नहीं लाया जाएगा.

ट्रैकिंग विधि का संक्रमण सरल बनाएं

जब ट्रैकिंग का तरीका एक फ़्रेम में AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE से अगले फ़्रेम में बदलकर AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING हो जाता है, तब पोज़ अपनी शुरुआती जगह से बदल जाता है. यह सही दूरी पर मौजूद किसी नई जगह से दी गई अनुमानित दूरी के आधार पर तय होता है. पोज़ में तुरंत होने वाले इस बदलाव से, इसका मतलब है कि अचानक कोई ऑब्जेक्ट, पिछले फ़्रेम से बड़ा या छोटा दिखने लगता है.

ऑब्जेक्ट स्केल में अचानक बदलाव की वजह से विज़ुअल जंप से बचने के लिए, यह तरीका अपनाएं:

  1. हर फ़्रेम में ArInstantPlacementPoint के पोज़ और ट्रैक करने के तरीके को ट्रैक करें.
  2. ट्रैकिंग के तरीके को AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING में बदलने का इंतज़ार करें.
  3. दोनों फ़्रेम में ऑब्जेक्ट की दूरी तय करने के लिए, पिछले फ़्रेम के पोज़ और मौजूदा फ़्रेम में मौजूद पोज़ का इस्तेमाल करें.
  4. कैमरे से दूरी में बदलाव की वजह से स्केल में साफ़ तौर पर होने वाले बदलाव की गणना करें.
  5. ऑब्जेक्ट का स्केल अडजस्ट करें, ताकि बड़े पैमाने पर किए गए बदलाव का सामना करने में मदद मिल सके. इससे ऑब्जेक्ट का साइज़ बदलने से रोका जा सकता है.
  6. इसके अलावा, कई फ़्रेम में ऑब्जेक्ट के स्केल को आसानी से उसकी ओरिजनल वैल्यू पर सेट करें.
class WrappedInstantPlacement {
  ArInstantPlacementPoint* point;
  ArInstantPlacementPointTrackingMethod previous_tracking_method;
  float previous_distance_to_camera;
  float scale_factor = 1.0f;

 public:
  WrappedInstantPlacement(ArInstantPlacementPoint* point,
                          TrackingMethod previous_tracking_method,
                          float previous_distance_to_camera) {
    this.point = point;
    this.previous_tracking_method = previous_tracking_method;
    this.previous_distance_to_camera = previous_distance_to_camera;
  }
};

std::vector<WrappedInstantPlacement> wrapped_points_;

इंस्टैंट प्लेसमेंट पॉइंट बनाने के बाद, उसे रैप करने के लिए, OnTouched() में बदलाव करें.

if (ar_trackable_type == AR_TRACKABLE_INSTANT_PLACEMENT_POINT) {
  ArInstantPlacementPoint* point = (ArInstantPlacementPoint*)ar_trackable;
  ArInstantPlacementPointTrackingMethod tracking_method;
  ArInstantPlacementPoint_getTrackingMethod(ar_session, point,
                                            &tracking_method);
  ArCamera* ar_camera = nullptr;
  ArFrame_acquireCamera(ar_session, ar_frame, &ar_camera);
  CHECK(ar_camera);
  wrapped_points_.push_back(WrappedInstantPlacement(
      point, tracking_method, Distance(point, ar_camera)));
}

जब इंस्टैंट प्लेसमेंट पॉइंट को ट्रैक करने का तरीका AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE से AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING में ट्रांसफ़र होता है, तो स्केल में साफ़ तौर पर हुए बदलाव को रोकने के लिए, सेव की गई दूरी का इस्तेमाल करें.

void OnUpdate() {
  for (auto& wrapped_point : wrapped_points_) {
    ArInstantPlacementPoint* point = wrapped_point.point;

    ArTrackingState tracking_state = AR_TRACKING_STATE_STOPPED;
    ArTrackable_getTrackingState(ar_session, (ArTrackable)point,
                                 &tracking_state);

    if (tracking_state == AR_TRACKING_STATE_STOPPED) {
      wrapped_points_.remove(wrapped_point);
      continue;
    }
    if (tracking_state == AR_TRACKING_STATE_PAUSED) {
      continue;
    }

    ArInstantPlacementPointTrackingMethod tracking_method;
    ArInstantPlacementPoint_getTrackingMethod(ar_session, point,
                                              &tracking_method);
    ArCamera* ar_camera = nullptr;
    ArFrame_acquireCamera(ar_session, ar_frame, &ar_camera);
    CHECK(ar_camera);
    const float distance_to_camera = Distance(point, ar_camera);
    if (tracking_method ==
        AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE) {
      // Continue to use the estimated depth and pose. Record the distance to
      // the camera for use in the next frame if the transition to full
      // tracking happens.
      wrapped_point.previous_distance_to_camera = distance_to_camera;
    } else if (
        tracking_method ==
            AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING &&
        wrapped_point.previous_tracking_method ==
            AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_SCREENSPACE_WITH_APPROXIMATE_DISTANCE) {
      // Change from the estimated pose to the accurate pose. Adjust the
      // object scale to counteract the apparent change due to pose jump.
      wrapped_point.scale_factor =
          distance_to_camera / wrapped_point.previous_distance_to_camera;
      // Apply the scale factor to the model.
      // ...
      previous_tracking_method =
          AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING;
    }
  }
}

प्रदर्शन संबंधी विचार

इंस्टैंट प्लेसमेंट की सुविधा चालू होने पर, ARCore ज़्यादा सीपीयू साइकल का इस्तेमाल करता है. अगर परफ़ॉर्मेंस बेहतर नहीं है, तो उपयोगकर्ता के ऑब्जेक्ट को सही जगह पर रखने के बाद 'इंस्टैंट प्लेसमेंट' को बंद करें और सभी 'इंस्टैंट प्लेसमेंट पॉइंट' को ट्रैक करने का तरीका AR_INSTANT_PLACEMENT_POINT_TRACKING_METHOD_FULL_TRACKING में बदल जाएं.

झटपट प्लेसमेंट की सुविधा बंद होने पर, ArFrame_hitTestInstantPlacement के बजाय ArFrame_hitTest का इस्तेमाल करें.

ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);
// Disable Instant Placement.
ArConfig_setInstantPlacementMode(ar_session, ar_config,
                                 AR_INSTANT_PLACEMENT_MODE_DISABLED);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);
ArConfig_destroy(ar_config);