Android NDK'da (C) kamera görüntülerini sabitleme

ARCore, artık sorunsuz bir kamera önizlemesi oluşturmaya yardımcı olan Elektronik Görüntü Sabitleme'yi (EIS) destekliyor. EIS, jiroskopla telefonun hareketlerini gözlemleyerek ve küçük titremelere karşı koyan kamera dokusunun sınırları dahilinde dengeleme homografi ağı uygulayarak sabitlemeyi sağlar. EIS yalnızca cihazın dikey yönünde desteklenir. Tüm yönler, ARCore'un 1.39.0 sürümünde desteklenecektir.

EIS desteği için sorgu oluşturun ve EIS'yi etkinleştirin

EIS'yi etkinleştirmek için oturumunuzu AR_IMAGE_STABILIZATION_MODE_EIS kullanacak şekilde yapılandırın. Cihaz EIS özelliğini desteklemiyorsa bu durum, ARCore'dan bir istisna gönderilmesine neden olur.

int enableEis = 0;
ArSession_isImageStabilizationModeSupported(
    ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis);
if (!enableEis) {
  return;
}
// Create a session config.
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);

// Enable Electronic Image Stabilization.
ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Release config resources.
ArConfig_destroy(ar_config);

Koordinatları dönüştürme

EIS açıkken oluşturucunun, kamera arka planını oluştururken EIS dengelemesini içeren değiştirilmiş cihaz koordinatlarını ve eşleşen doku koordinatlarını kullanması gerekir. EIS tarafından düzeltilmiş koordinatları almak için ArFrame_transformCoordinates3d tuşlarını, giriş olarak AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES ve çıkış olarak AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES ile 3D cihaz koordinatlarını almak için, çıkış olarak AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED kullanarak 3D doku koordinatlarını alın. Şimdilik, ArFrame_transformCoordinates3d için desteklenen tek giriş koordinatı türü AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES.

int kNumVertices = 4;
// Positions of the quad vertices in clip space (X, Y).
const GLfloat kVertices[] = {
    -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f,
};
float transformed_vertices_[4 * 3];
float transformed_uvs_[4 * 3];

ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices,
    AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES,
    transformed_vertices_);
ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED,
    transformed_uvs_);

glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_);
glUseProgram(camera_program_);
glUniform1i(camera_texture_uniform_, 0);

// Set the vertex positions and texture coordinates.
glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_vertices_);
glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_uvs_);
glEnableVertexAttribArray(camera_position_attrib_);
glEnableVertexAttribArray(camera_tex_coord_attrib_);

EIS kapalı olduğunda, çıkış 3D koordinatları 2D eşdeğerlerine eşdeğer olur ve z değerleri hiçbir değişiklik üretmeyecek şekilde ayarlanır.

Gölgelendiricileri değiştir

Hakkında hesaplanan 3D koordinatları, arka plan oluşturma gölgelendiricilerine iletilmelidir. Köşe tamponları artık EIS ile 3D hale getirildi:

layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
  gl_Position = a_Position;
  v_CameraTexCoord = a_CameraTexCoord;
}

Buna ek olarak, parça gölgelendiricinin perspektif düzeltmesi uygulaması gerekir:

precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
  vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
  o_FragColor = texture(u_CameraColorTexture, tc.xy);
}

Daha fazla bilgi için hello_eis_kotlin örnek uygulamasına göz atın.