تثبيت صور الكاميرا على نظام التشغيل Android NDK (C)

يتيح ARCore الآن ميزة "التثبيت الإلكتروني للصورة" (EIS)، ما يساعد في إنتاج معاينة سلسة للكاميرا. تحقِّق ميزة "التثبيت الإلكتروني للصورة" التثبيت من خلال رصد حركة الهاتف باستخدام أداة التحكّم في الحركة وتطبيق شبكة إصلاح الصور المجسمة ضمن حدود نسيج الكاميرا الذي يتصدّى للهزات البسيطة. لا تتوفّر ميزة EIS إلا في الوضع العمودي للجهاز. ستكون جميع الاتجاهات متاحة في الإصدار 1.39.0 من ARCore.

طلب الدعم بشأن EIS وتفعيله

لتفعيل EIS، اضبط جلستك لاستخدام AR_IMAGE_STABILIZATION_MODE_EIS. إذا كان الجهاز لا يتيح استخدام ميزة EIS، سيؤدي ذلك إلى ظهور استثناء من ARCore.

int enableEis = 0;
ArSession_isImageStabilizationModeSupported(
    ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis);
if (!enableEis) {
  return;
}
// Create a session config.
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);

// Enable Electronic Image Stabilization.
ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS);
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);

// Release config resources.
ArConfig_destroy(ar_config);

تحويل الإحداثيات

عندما يكون وضع EIS مفعّلاً، يجب أن يستخدم برنامج التقديم إحداثيات الجهاز المعدَّلة وإحداثيات النسيج المطابقة التي تتضمّن تعويض EIS عند عرض خلفية الكاميرا. للحصول على الإحداثيات التي تم تعويضها باستخدام EIS، استخدِم ArFrame_transformCoordinates3d، مع استخدام AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES كمدخل وAR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES كمُخرج للحصول على إحداثيات الجهاز الثلاثية الأبعاد وAR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED كمُخرج للحصول على إحداثيات الزخرفة الثلاثية الأبعاد. في الوقت الحالي، نوع الإحداثيات الوحيد المسموح به لإدخال ArFrame_transformCoordinates3d هو AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES.

int kNumVertices = 4;
// Positions of the quad vertices in clip space (X, Y).
const GLfloat kVertices[] = {
    -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f,
};
float transformed_vertices_[4 * 3];
float transformed_uvs_[4 * 3];

ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices,
    AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES,
    transformed_vertices_);
ArFrame_transformCoordinates3d(
    session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES,
    kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED,
    transformed_uvs_);

glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_);
glUseProgram(camera_program_);
glUniform1i(camera_texture_uniform_, 0);

// Set the vertex positions and texture coordinates.
glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_vertices_);
glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0,
                      transformed_uvs_);
glEnableVertexAttribArray(camera_position_attrib_);
glEnableVertexAttribArray(camera_tex_coord_attrib_);

عندما تكون ميزة "التثبيت الإلكتروني للصورة" غير مفعّلة، تكون الإحداثيات الثلاثية الأبعاد الناتجة مساوية لنظيراتها ثنائية الأبعاد، ويتم ضبط قيم z بحيث لا تؤدي إلى أي تغيير.

تعديل تأثيرات التظليل

يجب تمرير الإحداثيات الثلاثية الأبعاد التي تم احتسابها إلى أدوات تظليل العرض في الخلفية. أصبحت الآن مخازن الرؤوس ثلاثية الأبعاد باستخدام EIS:

layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
  gl_Position = a_Position;
  v_CameraTexCoord = a_CameraTexCoord;
}

بالإضافة إلى ذلك، يجب أن يطبّق برنامج تظليل الشرائح تصحيح المنظور:

precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
  vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
  o_FragColor = texture(u_CameraColorTexture, tc.xy);
}

اطّلِع على نموذج التطبيق hello_eis_kotlin للحصول على مزيد من التفاصيل.