本指南將說明如何使用 Cardboard SDK ,打造專屬的虛擬實境 (VR) 體驗。
您可以使用 Cardboard SDK 讓智慧型手機搖身一變,成為 VR 平台。智慧型手機 能夠顯示立體聲算繪 3D 場景,追蹤頭部動作並做出回應。 偵測使用者按下檢視器按鈕的時機,然後與應用程式互動。
首先,請使用 HelloCardboard。這款遊戲示範了 正是 Cardboard SDK 的功能在遊戲中,使用者會四處探索虛擬世界,找出並尋找 收集物件這項工具將說明如何:
- 設定開發環境
- 下載並建構試用版應用程式
- 掃描 Cardboard 觀影盒的 QR 圖碼,即可儲存參數
- 追蹤使用者的頭部動作
- 設定每個眼睛的正確檢視投影矩陣,藉此算繪立體圖像
HelloCardboard 會使用 Android NDK。每個原生方法都是:
- 專屬於
HelloCardboardApp
類別方法,或 - 建立或刪除該類別的例項
設定開發環境
硬體需求:
- 搭載 Android 8.0「Oreo」的 Android 裝置(API 級別 26) 以上版本
- Cardboard 觀影盒
軟體需求:
- Android Studio 2022.1.1「Electric Eel」或更高
- Android SDK 13.0「Tiramisu」(API 級別 33) 以上版本
最新版 Android NDK 架構
如要查看或更新已安裝的 SDK,請前往「偏好設定」>外觀與行為
系統設定 >Android Studio 中的 Android SDK。
下載並建構試用版應用程式
Cardboard SDK 是以預先編譯的 Vulkan 標頭檔案。如要瞭解從頭開始建立標頭檔案的步驟,請參閱 請按這裡。
執行下列指令,複製 Cardboard SDK 和 HelloCardboard 示範 :
git clone https://github.com/googlevr/cardboard.git
在 Android Studio 中,選取「Open an existing Android Studio Project」,然後選取 複製 Cardboard SDK 和 HelloCardboard 示範應用程式所在的目錄。
您的程式碼會顯示在 Android Studio 的「Project」視窗中。
如要組裝 Cardboard SDK,請按兩下其中的組合選項 Gradle 分頁中的 cardboard/:sdk/Tasks/build 資料夾,方法是依序點選「View」>「Tool Windows」>「Gradle」。
依序選取「Run」> >,即可在手機上執行 HelloCardboard 示範應用程式執行...並 選取
hellocardboard-android
目標
掃描 QR code
如要儲存裝置參數,請掃描 Cardboard 觀影盒上的 QR 圖碼:
如果使用者按下「略過」沒有先前儲存的參數 Google Cardboard v1 (已於 2014 年 Google I/O 大會推出) 參數。
立即試用
在 HelloCardboard 中,我們會在 3D 空間中尋找並收集測地球體。
如何尋找及收集球體:
朝任何方向移動頭部,直到看到浮動形狀為止。
直視球體。這會改變顏色。
按下 Cardboard 觀影盒按鈕即可「收集」進行研究
設定裝置
當使用者輕觸齒輪圖示來切換 Cardboard 觀影盒時,nativeSwitchViewer
方法。nativeSwitchViewer
次通話
CardboardQrCode_scanQrCodeAndSaveDeviceParams
,系統隨即開啟要掃描的視窗
觀看者的 QR code觀眾的鏡頭變形和其他參數都會更新
系統已掃描 QR code
// Called by JNI method
void HelloCardboardApp::SwitchViewer() {
CardboardQrCode_scanQrCodeAndSaveDeviceParams();
}
啟用 Android Studio x86 模擬器
如要建構 Android Studio x86 模擬器,請移除以下這一行:
SDK 中的 build.gradle
個檔案
和範例:
abiFilters 'armeabi-v7a', 'arm64-v8a'
這會啟用所有 ABI,並大幅增加產生的
.aar
檔案。請參閱 Android ABI
瞭解詳情
頭部追蹤
建立頭部追蹤工具
頭部追蹤程式會在 HelloCardboardApp
的建構函式中建立一次:
HelloCardboardApp::HelloCardboardApp(JavaVM* vm, jobject obj, jobject asset_mgr_obj) {
Cardboard_initializeAndroid(vm, obj); // Must be called in constructor
head_tracker_ = CardboardHeadTracker_create();
}
建立 VrActivity
時,會產生 HelloCardboardApp
類別的執行個體
呼叫 nativeOnCreate
方法:
public void onCreate(Bundle savedInstance) {
super.onCreate(savedInstance);
nativeApp = nativeOnCreate(getAssets());
//...
}
暫停及恢復頭部追蹤工具
若要暫停、恢復和銷毀頭部追蹤器,
CardboardHeadTracker_pause(head_tracker_)
、CardboardHeadTracker_resume(head_tracker_)
、
而且必須分別呼叫 CardboardHeadTracker_destroy(head_tracker_)
。在
"HelloCardboard"應用程式,我們會在 nativeOnPause
、nativeOnResume
和
nativeOnDestroy
:
// Code to pause head tracker in hello_cardboard_app.cc
void HelloCardboardApp::OnPause() { CardboardHeadTracker_pause(head_tracker_); }
// Call nativeOnPause in VrActivity
@Override
protected void onPause() {
super.onPause();
nativeOnPause(nativeApp);
//...
}
// Code to resume head tracker in hello_cardboard_app.cc
void HelloCardboardApp::onResume() {
CardboardHeadTracker_resume(head_tracker_);
//...
}
// Call nativeOnResume in VrActivity
@Override
protected void onResume() {
super.onResume();
//...
nativeOnResume(nativeApp);
}
// Code to destroy head tracker in hello_cardboard_app.cc
HelloCardboardApp::~HelloCardboardApp() {
CardboardHeadTracker_destroy(head_tracker_);
//...
}
// Call nativeOnDestroy in VrActivity
@Override
protected void onDestroy() {
super.onDestroy();
nativeOnDestroy(nativeApp);
nativeApp = 0;
}
鏡頭變形
每當 Cardboard 掃描新的 QR 圖碼時,下列程式碼就會讀取已儲存的參數 並用於製作鏡頭扭曲失真物件,藉此套用適當的鏡頭扭曲失真 添加到轉譯內容:
CardboardQrCode_getSavedDeviceParams(&buffer, &size);
CardboardLensDistortion_destroy(lens_distortion_);
lens_distortion_ = CardboardLensDistortion_create(
buffer, size, screen_width_, screen_height_);
CardboardQrCode_destroy(buffer);
轉譯
使用 Cardboard 轉譯內容時,請考量下列事項:
- 建立紋理
- 取得左右眼睛的檢視和投影矩陣
- 建立轉譯器及設定變形網格
- 算繪每個影格
建立紋理
所有內容都是繪製在紋理上,分割為左右眼睛的區塊。
這些區段分別在 _leftEyeTexture
和 _rightEyeTexture
中初始化。
void HelloCardboardApp::GlSetup() {
LOGD("GL SETUP");
if (framebuffer_ != 0) {
GlTeardown();
}
// Create render texture.
glGenTextures(1, &texture_);
glBindTexture(GL_TEXTURE_2D, texture_);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, screen_width_, screen_height_, 0,
GL_RGB, GL_UNSIGNED_BYTE, 0);
left_eye_texture_description_.texture = texture_;
left_eye_texture_description_.left_u = 0;
left_eye_texture_description_.right_u = 0.5;
left_eye_texture_description_.top_v = 1;
left_eye_texture_description_.bottom_v = 0;
right_eye_texture_description_.texture = texture_;
right_eye_texture_description_.left_u = 0.5;
right_eye_texture_description_.right_u = 1;
right_eye_texture_description_.top_v = 1;
right_eye_texture_description_.bottom_v = 0;
//...
CHECKGLERROR("GlSetup");
}
這些紋理會以參數的形式傳入 CardboardDistortionRenderer_renderEyeToDisplay
。
取得左右眼睛的矩陣投影和投影
首先,請擷取左右眼睛的眼睛矩陣:
CardboardLensDistortion_getEyeFromHeadMatrix(
lens_distortion_, kLeft, eye_matrices_[0]);
CardboardLensDistortion_getEyeFromHeadMatrix(
lens_distortion_, kRight, eye_matrices_[1]);
CardboardLensDistortion_getProjectionMatrix(
lens_distortion_, kLeft, kZNear, kZFar, projection_matrices_[0]);
CardboardLensDistortion_getProjectionMatrix(
lens_distortion_, kRight, kZNear, kZFar, projection_matrices_[1]);
接下來,取得每個眼睛的變形網格,並傳遞到變形轉譯器:
CardboardLensDistortion_getDistortionMesh(lens_distortion_, kLeft, &left_mesh);
CardboardLensDistortion_getDistortionMesh(lens_distortion_, kRight, &right_mesh);
建立轉譯器並設定正確的變形網格
轉譯器只需初始化一次。建立轉譯器後,請設定新的轉譯器
根據從感應器傳回的網格值,左右眼睛的扭曲網格
CardboardLensDistortion_getDistortionMesh
函式。
distortion_renderer_ = CardboardOpenGlEs2DistortionRenderer_create();
CardboardDistortionRenderer_setMesh(distortion_renderer_, &left_mesh, kLeft);
CardboardDistortionRenderer_setMesh(distortion_renderer_, &right_mesh, kRight);
轉譯內容
針對每個頁框,從 CardboardHeadTracker_getPose
擷取目前的頭部方向:
CardboardHeadTracker_getPose(head_tracker_, monotonic_time_nano, &out_position[0], &out_orientation[0]);
使用目前的頭部方向搭配檢視區塊和投影矩陣,建立檢視畫面 每個眼睛的投影矩陣,並將內容轉譯至螢幕:
// Draw eyes views
for (int eye = 0; eye < 2; ++eye) {
glViewport(eye == kLeft ? 0 : screen_width_ / 2, 0, screen_width_ / 2,
screen_height_);
Matrix4x4 eye_matrix = GetMatrixFromGlArray(eye_matrices_[eye]);
Matrix4x4 eye_view = eye_matrix * head_view_;
Matrix4x4 projection_matrix =
GetMatrixFromGlArray(projection_matrices_[eye]);
Matrix4x4 modelview_target = eye_view * model_target_;
modelview_projection_target_ = projection_matrix * modelview_target;
modelview_projection_room_ = projection_matrix * eye_view;
// Draw room and target. Replace this to render your own content.
DrawWorld();
}
使用 CardboardDistortionRenderer_renderEyeToDisplay
套用變形效果
將內容修正在畫面上
// Render
CardboardDistortionRenderer_renderEyeToDisplay(
distortion_renderer_, /* target_display = */ 0, /* x = */ 0, /* y = */ 0,
screen_width_, screen_height_, &left_eye_texture_description_,
&right_eye_texture_description_);