Hướng dẫn dành cho nhà phát triển Hình ảnh tăng cường dành cho Android

Tìm hiểu cách sử dụng Hình ảnh tăng cường trong ứng dụng của bạn.

Điều kiện tiên quyết

Đảm bảo rằng bạn hiểu rõ các khái niệm cơ bản về AR và cách định cấu hình phiên ARCore trước khi tiếp tục.

Tạo cơ sở dữ liệu hình ảnh

Mỗi cơ sở dữ liệu hình ảnh có thể lưu trữ thông tin cho tối đa 1.000 hình ảnh.

Có hai cách để tạo AugmentedImageDatabase:

• Tải cơ sở dữ liệu hình ảnh đã lưu. Sau đó, bạn có thể thêm các hình ảnh tham chiếu khác (không bắt buộc).
• Tạo cơ sở dữ liệu trống mới. Sau đó, hãy thêm lần lượt từng ảnh đối chiếu.

Tải cơ sở dữ liệu hình ảnh đã lưu

Sử dụng AugmentedImageDatabase.deserialize() để tải cơ sở dữ liệu hình ảnh hiện có:

Java

AugmentedImageDatabase imageDatabase;
try (InputStream inputStream = this.getAssets().open("example.imgdb")) {
  imageDatabase = AugmentedImageDatabase.deserialize(session, inputStream);
} catch (IOException e) {
  // The Augmented Image database could not be deserialized; handle this error appropriately.
}

Kotlin

val imageDatabase = this.assets.open("example.imgdb").use {
  AugmentedImageDatabase.deserialize(session, it)
}

Bạn có thể tạo cơ sở dữ liệu hình ảnh bằng arcoreimg công cụ dòng lệnh trong quá trình phát triển hoặc bằng cách gọi AugmentedImageDatabase.serialize() trên cơ sở dữ liệu chứa dữ liệu được tải trong bộ nhớ.

Tạo cơ sở dữ liệu trống mới

Để tạo cơ sở dữ liệu hình ảnh trống trong thời gian chạy, hãy sử dụng hàm khởi tạo AugmentedImageDatabase:

Java

AugmentedImageDatabase imageDatabase = new AugmentedImageDatabase(session);

Kotlin

val imageDatabase = AugmentedImageDatabase(session)

Thêm hình ảnh vào cơ sở dữ liệu hiện có

Thêm hình ảnh vào cơ sở dữ liệu hình ảnh bằng cách gọi AugmentedImageDatabase.addImage() cho mỗi hình ảnh, chỉ định widthInMeters tuỳ chọn.

Java

Bitmap bitmap;
try (InputStream bitmapString = getAssets().open("dog.jpg")) {
  bitmap = BitmapFactory.decodeStream(bitmapString);
} catch (IOException e) {
  // The bitmap could not be found in assets; handle this error appropriately.
  throw new AssertionError("The bitmap could not be found in assets.", e);
}

// If the physical size of the image is not known, use addImage(String, Bitmap) instead, at the
// expense of an increased image detection time.
float imageWidthInMeters = 0.10f; // 10 cm
int dogIndex = imageDatabase.addImage("dog", bitmap, imageWidthInMeters);

Kotlin

val bitmap = assets.open("dog.jpg").use { BitmapFactory.decodeStream(it) }
// If the physical size of the image is not known, use addImage(String, Bitmap) instead, at the
// expense of an increased image detection time.
val imageWidthInMeters = 0.10f // 10 cm
val dogIndex = imageDatabase.addImage("dog", bitmap, imageWidthInMeters)

Sau này, chỉ mục được trả về có thể được dùng để xác định hình ảnh tham chiếu nào bị .

Bật tính năng theo dõi hình ảnh

Định cấu hình phiên ARCore để bắt đầu theo dõi hình ảnh bằng cách đặt phiên thành một tệp được định cấu hình bằng cơ sở dữ liệu hình ảnh mong muốn:

Java

Config config = new Config(session);
config.setAugmentedImageDatabase(imageDatabase);
session.configure(config);

Kotlin

val config = Config(session)
config.augmentedImageDatabase = imageDatabase
session.configure(config)

Trong phiên diễn ra này, ARCore tìm kiếm hình ảnh bằng cách so khớp các điểm tính năng từ hình ảnh camera so với hình ảnh trong cơ sở dữ liệu hình ảnh.

Để xem những hình ảnh phù hợp, hãy thăm dò ý kiến để tìm các AugmentedImage đã cập nhật trong vòng lặp cập nhật khung hình.

Java

Collection<AugmentedImage> updatedAugmentedImages =
    frame.getUpdatedTrackables(AugmentedImage.class);
for (AugmentedImage img : updatedAugmentedImages) {
  if (img.getTrackingState() == TrackingState.TRACKING) {
    // Use getTrackingMethod() to determine whether the image is currently
    // being tracked by the camera.
    switch (img.getTrackingMethod()) {
      case LAST_KNOWN_POSE:
        // The planar target is currently being tracked based on its last
        // known pose.
        break;
      case FULL_TRACKING:
        // The planar target is being tracked using the current camera image.
        break;
      case NOT_TRACKING:
        // The planar target isn't been tracked.
        break;
    }

    // You can also check which image this is based on img.getName().
    if (img.getIndex() == dogIndex) {
      // TODO: Render a 3D version of a dog in front of img.getCenterPose().
    } else if (img.getIndex() == catIndex) {
      // TODO: Render a 3D version of a cat in front of img.getCenterPose().
    }
  }
}

Kotlin

val updatedAugmentedImages = frame.getUpdatedTrackables(AugmentedImage::class.java)

for (img in updatedAugmentedImages) {
  if (img.trackingState == TrackingState.TRACKING) {
    // Use getTrackingMethod() to determine whether the image is currently
    // being tracked by the camera.
    when (img.trackingMethod) {
      AugmentedImage.TrackingMethod.LAST_KNOWN_POSE -> {
        // The planar target is currently being tracked based on its last known pose.
      }
      AugmentedImage.TrackingMethod.FULL_TRACKING -> {
        // The planar target is being tracked using the current camera image.
      }
      AugmentedImage.TrackingMethod.NOT_TRACKING -> {
        // The planar target isn't been tracked.
      }
    }

    // You can also check which image this is based on AugmentedImage.getName().
    when (img.index) {
      dogIndex -> TODO("Render a 3D version of a dog at img.getCenterPose()")
      catIndex -> TODO("Render a 3D version of a cat at img.getCenterPose()")
    }
  }
}

Hỗ trợ nhiều trường hợp sử dụng

Khi phát hiện thấy một Hình ảnh tăng cường, ARCore sẽ tạo một Trackable cho hình ảnh đó Hình ảnh tăng cường và tập hợp TrackingState tới TRACKING và TrackingMethod đến FULL_TRACKING. Khi hình ảnh được theo dõi di chuyển ra khỏi chế độ xem của máy ảnh, ARCore thay đổi TrackingMethod vào LAST_KNOWN_POSE trong khi vẫn tiếp tục cung cấp hướng và vị trí hình ảnh.

Ứng dụng nên dùng các giá trị liệt kê này theo nhiều cách, tuỳ thuộc vào mục đích sử dụng trường hợp.

• Hình ảnh cố định. Hầu hết các trường hợp sử dụng liên quan đến hình ảnh được cố định tại chỗ (nghĩa là không di chuyển) có thể chỉ cần sử dụng TrackingState để xác định liệu hình ảnh có được phát hiện hay không và vị trí của nó có được biết hay không. Bạn có thể bỏ qua TrackingMethod.

• Hình ảnh chuyển động. Nếu ứng dụng của bạn cần theo dõi một hình ảnh chuyển động, hãy sử dụng cả hai TrackingState và TrackingMethod để xác định xem hình ảnh đã được phát hiện được và liệu vị trí của nó đã biết hay chưa.

Trường hợp sử dụng	Hình ảnh cố định	Đang di chuyển hình ảnh
Ví dụ:	Một tấm áp phích được treo trên tường	Quảng cáo bên cạnh xe buýt
Tư thế đó có thể là được coi là hợp lệ khi	TrackingState == TRACKING	TrackingState == TRACKING và TrackingMethod == FULL_TRACKING

Lưu ý: Nếu một hình ảnh trong chế độ xem camera thay đổi rất nhanh đến hình ảnh thứ hai có cùng kích thước và vị trí, ARCore có thể đặt nhầm TrackingMethod sang FULL_TRACKING cho cả hai hình ảnh, đồng thời cập nhật liên kết của Hình ảnh đã tăng cường vào vị trí của hình ảnh mới. Ví dụ: việc này có thể xảy ra nếu bạn hướng camera vào một hình ảnh trong trình duyệt web và sau đó chuyển sang một thẻ trình duyệt khác có chứa thẻ thứ hai có kích thước tương tự và định vị hình ảnh.

Xem thêm

• Dự án mẫu về Hình ảnh tăng cường trong SDK ARCore.

• Lớp học lập trình về Hình ảnh tăng cường ARCore.