開始使用

當您使用銷售或支援聯絡人來設定資料移轉 2.0 版時,系統會提供值區名稱。您必須將銷售聯絡人提供給 Google 網路論壇,以便控管 Google Cloud Storage 中資料檔案的存取權。

您可以選擇使用公用程式存取資料,也可以自行編寫程式碼

使用 gsutil 存取資料

gsutil 工具是以 Python 編寫的指令列應用程式,可讓您在不存取任何程式碼的情況下存取資料。舉例來說,您可以使用 gsutil 做為指令碼或批次檔案的一部分,不必建立自訂應用程式。

如要開始使用 gsutil,請參閱 gsutil 說明文件。這項工具會在您初次使用時提示您輸入憑證,然後加以儲存以供日後使用。

gsutil 範例

您可以使用 gsutil 列出所有檔案,如下所示:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil 使用與 UNIX 相同的語法,包括萬用字元星號 (*),因此能列出所有 NetworkImpression 檔案:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

下載檔案也很簡單:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

您可以使用 Unix 殼層指令碼將檔案從分散的 DT Google 值區複製到自己的 Google API GCS 值區,有兩種做法:

  • 在 gsutil 中,如果您使用 Unix 系統,請每天為所有值區執行下列指令:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
    $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
    
  • 或者,要採取一些解決方法,可以使用 bash 檔案:

    #!/bin/bash
    
    set -x
    
    buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
    day=$(date --date="1 days ago" +"%m-%d-%Y")
    for b in ${buckets[@]}; do /
        gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
    done
    

透過程式存取資料

許多程式設計語言現已提供 Google Cloud Storage 的 API 和範例,方便您透過程式存取資料。以下是資料移轉 2.0 版的必要步驟,以建立正常運作的整合作業。

取得服務帳戶

如要開始使用資料移轉 2.0 版,您必須先使用設定工具,引導您在 Google API 控制台中建立專案、啟用 API 並建立憑證。

如要設定新的服務帳戶,請按照下列步驟操作:

  1. 依序按一下 [Create credentials] (建立憑證) > [Service account key] (服務帳戶金鑰)。
  2. 選擇要下載服務帳戶的公開金鑰/私密金鑰做為標準 P12 檔案,或是以 Google API 用戶端程式庫載入的 JSON 檔案形式。

接著,系統就會為您產生新的公開/私密金鑰,並下載至您的電腦中;這是金鑰的唯一副本,您必須負責儲存。

請務必開啟這個視窗,以便在下一個步驟中使用服務帳戶電子郵件地址。

將服務帳戶加進群組

  • 前往 Google 網路論壇
  • 按一下 [我的群組],然後選取用來管理 DT v2.0 Cloud Storage 值區存取權的群組
  • 按一下「管理」
  • 請勿點選「邀請成員」!
  • 按一下 [直接新增成員]
  • 將上一個步驟的服務帳戶電子郵件地址複製到成員方塊
  • 選取 [不要接收電子郵件]
  • 按一下 [新增] 按鈕

我不小心點選了「邀請成員」

範圍

傳送至 Cloud Storage 的所有範圍都必須為唯讀

舉例來說,使用 Java 用戶端程式庫時,使用的正確範圍如下:

StorageScopes.DEVSTORAGE_READ_ONLY