在 Android SDK (Kotlin/Java) 中使用周围的建筑物和地形

Streetscape Geometry API 提供场景中地形、建筑物或其他结构的几何图形。该几何图形可用于通过命中测试 API 遮挡、渲染或放置 AR 内容。Streetscape Geometry 数据通过 Google 街景图像获取。

试用示例

geospatial_java 示例应用演示了如何获取和渲染 Streetscape Geometries。

设置 Geospatial API

如需使用 Streetscape Geometry,您需要在项目中设置 Geospatial API。 请按照启用 Geospatial API 中的说明设置 Geospatial API。

启用街景几何图形

GeospatialMode 设置为 GeospatialMode.ENABLEDStreetscapeGeometryMode 设置为 StreetscapeGeometryMode.ENABLED 时,Geospatial API 会获取 Streetscape Geometry 数据。

Java

Config config = session.getConfig();
// Streetscape Geometry requires the Geospatial API to be enabled.
config.setGeospatialMode(Config.GeospatialMode.ENABLED);
// Enable Streetscape Geometry.
config.setStreetscapeGeometryMode(Config.StreetscapeGeometryMode.ENABLED);
session.configure(config);

Kotlin

session.configure(
  session.config.apply {
    // Streetscape Geometry requires the Geospatial API to be enabled.
    geospatialMode = Config.GeospatialMode.ENABLED
    // Enable Streetscape Geometry.
    streetscapeGeometryMode = Config.StreetscapeGeometryMode.ENABLED
  }
)

在 ARCore 会话中获取 Streetscape Geometry

使用 Session.getAllTrackables() 并使用 StreetscapeGeometry.class 过滤结果。

Java

session.getAllTrackables(StreetscapeGeometry.class);

Kotlin

session.getAllTrackables(StreetscapeGeometry::class.java)

了解StreetscapeGeometry

StreetscapeGeometry 包含有关建筑物的信息:

建筑物 LOD 1

StreetscapeGeometry.Quality.BUILDING_LOD_1 由向上凸出到平顶的建筑物底部组成。建筑物高度可能不准确。

建筑物 LOD 2

StreetscapeGeometry.Quality.BUILDING_LOD_2 的几何图形具有较高的保真度。网格墙和屋顶将更贴近建筑物的形状。烟囱或屋顶通风口等小特征仍可能会戳到网格之外。

了解Mesh

Mesh 是一个多边形网格,表示街景几何图形的表面重建。 每个 Mesh 都包含一个顶点缓冲区和索引缓冲区:

将 AR 内容附加到 StreetscapeGeometry

您可以通过以下两种方式将 AR 内容附加到 Streetscape Geometry:

StreetscapeGeometry 执行点击测试

Frame.hitTest() 可用于针对 Streetscape Geometry 进行点击测试。如果找到交叉路口,HitResult 将包含有关命中位置的姿势信息,以及对命中的 StreetscapeGeometry 的引用。可以将此街景几何图形传递给 Trackable.createAnchor(),以创建附加到它的锚点。

Java

for (HitResult hit : frame.hitTest(singleTapEvent)) {
  if (hit.getTrackable() instanceof StreetscapeGeometry) {
    Pose hitPose = hit.getHitPose();
    hit.getTrackable().createAnchor(hitPose);
  }
}

Kotlin

for (hit in frame.hitTest(singleTapEvent)) {
  if (hit.trackable is StreetscapeGeometry) {
    val hitPose = hit.hitPose
    hit.trackable.createAnchor(hitPose)
  }
}

启用地理空间深度

地理空间深度可将街景几何图形与本地传感器输入相结合,从而增强深度数据。启用地理空间深度后,系统会修改输出深度和原始深度图像,以便除了本地观测的深度之外,还包含光栅化 Streetscape Geometry。这可以使用深度来提高姿势的准确性。