تثبيت صور الكاميرا على نظام التشغيل Android NDK (C)

يوفّر تطبيق ARCore الآن ميزة التثبيت الإلكتروني للصورة (EIS) التي تساعد في إنتاج معاينة سلسة للكاميرا. تحقّق ميزة EIS التثبيت من خلال ملاحظة حركة الهاتف باستخدام الجيروسكوب وتطبيق شبكة تناظرية تعويضية ضمن حدود زخرفة الكاميرا التي تمنع الهزات البسيطة. لا تتوافق ميزة EIS إلا في الاتجاه العمودي للجهاز. ستتوفَّر جميع الاتجاهات في الإصدار 1.39.0 من ARCore.

طلب دعم EIS وتفعيل EIS

لتفعيل EIS، يجب ضبط جلستك لاستخدام AR_IMAGE_STABILIZATION_MODE_EIS. إذا لم يكن الجهاز متوافقًا مع ميزة EIS، سيؤدي ذلك إلى طرح استثناء من ARCore.

int enableEis = 0;
ArSession_isImageStabilizationModeSupported(
    ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis);
if (!enableEis) {
  return;
}
// Create a session config.
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);

// Enable Electronic Image Stabilization.
ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Release config resources.
ArConfig_destroy(ar_config);

تحويل الإحداثيات

عندما تكون ميزة EIS مفعَّلة، يحتاج العارض إلى استخدام إحداثيات الجهاز المعدَّلة وإحداثيات المظهر المطابِقة التي تتضمّن تعويض EIS عند عرض خلفية الكاميرا. للحصول على إحداثيات EIS التي تمت تعويضها، استخدم ArFrame_transformCoordinates3d، باستخدام AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES كإدخال وAR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES كمخرج للحصول على إحداثيات جهاز ثلاثية الأبعاد وAR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED كإخراج للحصول على إحداثيات زخرفة ثلاثية الأبعاد. في الوقت الحالي، نوع إحداثي الإدخال الوحيد المتوافق مع ArFrame_transformCoordinates3d هو AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES.

int kNumVertices = 4;
// Positions of the quad vertices in clip space (X, Y).
const GLfloat kVertices[] = {
    -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f,
};
float transformed_vertices_[4 * 3];
float transformed_uvs_[4 * 3];

ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices,
    AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES,
    transformed_vertices_);
ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED,
    transformed_uvs_);

glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_);
glUseProgram(camera_program_);
glUniform1i(camera_texture_uniform_, 0);

// Set the vertex positions and texture coordinates.
glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_vertices_);
glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_uvs_);
glEnableVertexAttribArray(camera_position_attrib_);
glEnableVertexAttribArray(camera_tex_coord_attrib_);

عند إيقاف EIS، تكون إحداثيات الناتج ثلاثية الأبعاد مكافئة لنظيراتها ثنائية الأبعاد، مع تعيين قيم z لعدم حدوث أي تغيير.

تعديل أدوات التظليل

يجب تمرير الإحداثيات الثلاثية الأبعاد التي تم احتسابها إلى أدوات تظليل عرض الخلفية. أصبحت الموارد الاحتياطية الرأسية الآن ثلاثية الأبعاد مع EIS:

layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
  gl_Position = a_Position;
  v_CameraTexCoord = a_CameraTexCoord;
}

بالإضافة إلى ذلك، تحتاج أداة تظليل الأجزاء إلى تطبيق تصحيح المنظور:

precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
  vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
  o_FragColor = texture(u_CameraColorTexture, tc.xy);
}

يمكنك الاطّلاع على نموذج التطبيق hello_eis_kotlin لمزيد من التفاصيل.