Google Cardboard 的 Android NDK 快速入門導覽課程

本指南將說明如何使用 Cardboard SDK ,打造專屬的虛擬實境 (VR) 體驗。

您可以使用 Cardboard SDK 讓智慧型手機搖身一變,成為 VR 平台。智慧型手機 能夠顯示立體聲算繪 3D 場景,追蹤頭部動作並做出回應。 偵測使用者按下檢視器按鈕的時機,然後與應用程式互動。

首先,請使用 HelloCardboard。這款遊戲示範了 正是 Cardboard SDK 的功能在遊戲中,使用者會四處探索虛擬世界,找出並尋找 收集物件這項工具將說明如何:

  • 設定開發環境
  • 下載並建構試用版應用程式
  • 掃描 Cardboard 觀影盒的 QR 圖碼,即可儲存參數
  • 追蹤使用者的頭部動作
  • 設定每個眼睛的正確檢視投影矩陣,藉此算繪立體圖像

HelloCardboard 會使用 Android NDK。每個原生方法都是:

  • 專屬於 HelloCardboardApp 類別方法,或
  • 建立或刪除該類別的例項

設定開發環境

硬體需求:

  • 搭載 Android 8.0「Oreo」的 Android 裝置(API 級別 26) 以上版本
  • Cardboard 觀影盒
,瞭解如何調查及移除這項存取權。

軟體需求:

  • Android Studio 2022.1.1「Electric Eel」或更高
  • Android SDK 13.0「Tiramisu」(API 級別 33) 以上版本
  • 最新版 Android NDK 架構

    如要查看或更新已安裝的 SDK,請前往「偏好設定」>外觀與行為

    系統設定 >Android Studio 中的 Android SDK

下載並建構試用版應用程式

Cardboard SDK 是以預先編譯的 Vulkan 標頭檔案。如要瞭解從頭開始建立標頭檔案的步驟,請參閱 請按這裡

  1. 執行下列指令,複製 Cardboard SDK 和 HelloCardboard 示範 :

    git clone https://github.com/googlevr/cardboard.git
  2. 在 Android Studio 中,選取「Open an existing Android Studio Project」,然後選取 複製 Cardboard SDK 和 HelloCardboard 示範應用程式所在的目錄。

    您的程式碼會顯示在 Android Studio 的「Project」視窗中。

  3. 如要組裝 Cardboard SDK,請按兩下其中的組合選項 Gradle 分頁中的 cardboard/:sdk/Tasks/build 資料夾,方法是依序點選「View」>「Tool Windows」>「Gradle」。

  4. 依序選取「Run」> >,即可在手機上執行 HelloCardboard 示範應用程式執行...並 選取 hellocardboard-android 目標

掃描 QR code

如要儲存裝置參數,請掃描 Cardboard 觀影盒上的 QR 圖碼:

如果使用者按下「略過」沒有先前儲存的參數 Google Cardboard v1 (已於 2014 年 Google I/O 大會推出) 參數。

立即試用

在 HelloCardboard 中,我們會在 3D 空間中尋找並收集測地球體。

如何尋找及收集球體:

  1. 朝任何方向移動頭部,直到看到浮動形狀為止。

  2. 直視球體。這會改變顏色。

  3. 按下 Cardboard 觀影盒按鈕即可「收集」進行研究

設定裝置

當使用者輕觸齒輪圖示來切換 Cardboard 觀影盒時,nativeSwitchViewer 方法。nativeSwitchViewer 次通話 CardboardQrCode_scanQrCodeAndSaveDeviceParams,系統隨即開啟要掃描的視窗 觀看者的 QR code觀眾的鏡頭變形和其他參數都會更新 系統已掃描 QR code

// Called by JNI method
void HelloCardboardApp::SwitchViewer() {
  CardboardQrCode_scanQrCodeAndSaveDeviceParams();
}

啟用 Android Studio x86 模擬器

如要建構 Android Studio x86 模擬器,請移除以下這一行: SDK 中的 build.gradle 個檔案 和範例

abiFilters 'armeabi-v7a', 'arm64-v8a'

這會啟用所有 ABI,並大幅增加產生的 .aar 檔案。請參閱 Android ABI 瞭解詳情

頭部追蹤

建立頭部追蹤工具

頭部追蹤程式會在 HelloCardboardApp 的建構函式中建立一次:

HelloCardboardApp::HelloCardboardApp(JavaVM* vm, jobject obj, jobject asset_mgr_obj) {
  Cardboard_initializeAndroid(vm, obj); // Must be called in constructor
  head_tracker_ = CardboardHeadTracker_create();
}

建立 VrActivity 時,會產生 HelloCardboardApp 類別的執行個體 呼叫 nativeOnCreate 方法:

public void onCreate(Bundle savedInstance) {
  super.onCreate(savedInstance);
  nativeApp = nativeOnCreate(getAssets());
  //...
}

暫停及恢復頭部追蹤工具

若要暫停、恢復和銷毀頭部追蹤器, CardboardHeadTracker_pause(head_tracker_)CardboardHeadTracker_resume(head_tracker_)、 而且必須分別呼叫 CardboardHeadTracker_destroy(head_tracker_)。在 "HelloCardboard"應用程式,我們會在 nativeOnPausenativeOnResumenativeOnDestroy:

// Code to pause head tracker in hello_cardboard_app.cc

void HelloCardboardApp::OnPause() { CardboardHeadTracker_pause(head_tracker_); }

// Call nativeOnPause in VrActivity
@Override
protected void onPause() {
  super.onPause();
  nativeOnPause(nativeApp);
  //...
}

// Code to resume head tracker in hello_cardboard_app.cc
void HelloCardboardApp::onResume() {
  CardboardHeadTracker_resume(head_tracker_);
  //...
}

// Call nativeOnResume in VrActivity
@Override
protected void onResume() {
  super.onResume();
  //...
  nativeOnResume(nativeApp);
}

// Code to destroy head tracker in hello_cardboard_app.cc
HelloCardboardApp::~HelloCardboardApp() {
  CardboardHeadTracker_destroy(head_tracker_);
  //...
}

// Call nativeOnDestroy in VrActivity
@Override
protected void onDestroy() {
  super.onDestroy();
  nativeOnDestroy(nativeApp);
  nativeApp = 0;
}

鏡頭變形

每當 Cardboard 掃描新的 QR 圖碼時,下列程式碼就會讀取已儲存的參數 並用於製作鏡頭扭曲失真物件,藉此套用適當的鏡頭扭曲失真 添加到轉譯內容:

CardboardQrCode_getSavedDeviceParams(&buffer, &size);

CardboardLensDistortion_destroy(lens_distortion_);
lens_distortion_ = CardboardLensDistortion_create(
    buffer, size, screen_width_, screen_height_);

CardboardQrCode_destroy(buffer);

轉譯

使用 Cardboard 轉譯內容時,請考量下列事項:

  • 建立紋理
  • 取得左右眼睛的檢視和投影矩陣
  • 建立轉譯器及設定變形網格
  • 算繪每個影格

建立紋理

所有內容都是繪製在紋理上,分割為左右眼睛的區塊。 這些區段分別在 _leftEyeTexture_rightEyeTexture 中初始化。

void HelloCardboardApp::GlSetup() {
  LOGD("GL SETUP");

  if (framebuffer_ != 0) {
    GlTeardown();
  }

  // Create render texture.
  glGenTextures(1, &texture_);
  glBindTexture(GL_TEXTURE_2D, texture_);
  glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
  glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
  glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
  glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

  glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, screen_width_, screen_height_, 0,
               GL_RGB, GL_UNSIGNED_BYTE, 0);

  left_eye_texture_description_.texture = texture_;
  left_eye_texture_description_.left_u = 0;
  left_eye_texture_description_.right_u = 0.5;
  left_eye_texture_description_.top_v = 1;
  left_eye_texture_description_.bottom_v = 0;

  right_eye_texture_description_.texture = texture_;
  right_eye_texture_description_.left_u = 0.5;
  right_eye_texture_description_.right_u = 1;
  right_eye_texture_description_.top_v = 1;
  right_eye_texture_description_.bottom_v = 0;

  //...
  CHECKGLERROR("GlSetup");
}

這些紋理會以參數的形式傳入 CardboardDistortionRenderer_renderEyeToDisplay

取得左右眼睛的矩陣投影和投影

首先,請擷取左右眼睛的眼睛矩陣:

CardboardLensDistortion_getEyeFromHeadMatrix(
    lens_distortion_, kLeft, eye_matrices_[0]);
CardboardLensDistortion_getEyeFromHeadMatrix(
    lens_distortion_, kRight, eye_matrices_[1]);
CardboardLensDistortion_getProjectionMatrix(
    lens_distortion_, kLeft, kZNear, kZFar, projection_matrices_[0]);
CardboardLensDistortion_getProjectionMatrix(
    lens_distortion_, kRight, kZNear, kZFar, projection_matrices_[1]);

接下來,取得每個眼睛的變形網格,並傳遞到變形轉譯器:

CardboardLensDistortion_getDistortionMesh(lens_distortion_, kLeft, &left_mesh);
CardboardLensDistortion_getDistortionMesh(lens_distortion_, kRight, &right_mesh);

建立轉譯器並設定正確的變形網格

轉譯器只需初始化一次。建立轉譯器後,請設定新的轉譯器 根據從感應器傳回的網格值,左右眼睛的扭曲網格 CardboardLensDistortion_getDistortionMesh 函式。

distortion_renderer_ = CardboardOpenGlEs2DistortionRenderer_create();
CardboardDistortionRenderer_setMesh(distortion_renderer_, &left_mesh, kLeft);
CardboardDistortionRenderer_setMesh(distortion_renderer_, &right_mesh, kRight);

轉譯內容

針對每個頁框,從 CardboardHeadTracker_getPose 擷取目前的頭部方向:

CardboardHeadTracker_getPose(head_tracker_, monotonic_time_nano, &out_position[0], &out_orientation[0]);

使用目前的頭部方向搭配檢視區塊和投影矩陣,建立檢視畫面 每個眼睛的投影矩陣,並將內容轉譯至螢幕:

// Draw eyes views
for (int eye = 0; eye < 2; ++eye) {
  glViewport(eye == kLeft ? 0 : screen_width_ / 2, 0, screen_width_ / 2,
             screen_height_);

  Matrix4x4 eye_matrix = GetMatrixFromGlArray(eye_matrices_[eye]);
  Matrix4x4 eye_view = eye_matrix * head_view_;

  Matrix4x4 projection_matrix =
      GetMatrixFromGlArray(projection_matrices_[eye]);
  Matrix4x4 modelview_target = eye_view * model_target_;
  modelview_projection_target_ = projection_matrix * modelview_target;
  modelview_projection_room_ = projection_matrix * eye_view;

  // Draw room and target. Replace this to render your own content.
  DrawWorld();
}

使用 CardboardDistortionRenderer_renderEyeToDisplay 套用變形效果 將內容修正在畫面上

// Render
CardboardDistortionRenderer_renderEyeToDisplay(
    distortion_renderer_, /* target_display = */ 0, /* x = */ 0, /* y = */ 0,
    screen_width_, screen_height_, &left_eye_texture_description_,
    &right_eye_texture_description_);