开始使用

当您与销售或支持联系人一起设置对数据传输 v2.0 的访问权限时， 系统会为您提供存储分区名称您需要向销售联系人提供 Google 群组，可让您控制 访问您在 Google Cloud Storage 中的数据文件的权限。

您可以选择使用实用程序访问自己的数据 也可以自行编写代码。

使用 gsutil 访问数据

gsutil 工具是一个用 Python 编写的命令行应用 可让您访问数据，而无需编写任何代码。您 例如，您可以将 gsutil 作为脚本或批处理文件的一部分 创建自定义应用的方法

要开始使用 gsutil，请阅读 gsutil 文档。该工具会首次提示您输入凭据 供您使用，然后存储起来以备日后使用。

gsutil 示例

您可以使用 gsutil 列出所有文件，如下所示：

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil 使用的语法与 UNIX 的大部分语法相同，包括通配符 星号 (*)，因此您可以列出所有 NetworkImpression 文件：

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

下载文件也非常简单：

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

您可以将文件从分散的 DT Google 存储分区复制到您自己的 Google API GCS 存储分区 使用 Unix shell 脚本时，有以下两种选择：

  • 如果您使用的是 Unix 系统，请在 gsutil 中每天对所有存储分区运行以下命令：

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • 或者，有点棘手的解决方案是使用 bash 文件：

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

以编程方式访问数据

Google Cloud Storage 提供适用于多种编程的 API 和示例 可让您以程序化方式访问数据。以下是 特定于数据传输 v2.0 的步骤，您必须执行这些步骤 有效集成。

获取服务账号

要开始使用数据传输 v2.0，您首先需要 设置工具，它会引导您在 Google API 控制台、启用 API 并创建凭据。

要开设新的服务账号，请按以下步骤操作：

  1. 点击创建凭据 > 服务账号密钥。
  2. 选择要下载哪种格式的服务账号公钥/私钥文件，是标准的 P12 文件还是可由 Google API 客户端库加载的 JSON 文件。

接下来系统就会为您生成新的公钥/私钥对并将其下载到您的计算机；这对密钥仅此一份，您应负责妥善存储。

请务必让此窗口保持打开状态，因为您将需要服务账号电子邮件地址 。

向群组添加服务账号

  • 转到 Google 群组
  • 点击“我的群组”，然后选择您用于管理访问权限的群组 复制到 DT v2.0 Cloud Storage 存储分区中
  • 点击“管理”
  • 请勿点击“Invite Members”（邀请成员）！
  • 点击“直接添加成员”
  • 将上一步中的服务账号电子邮件地址复制到 成员框
  • 选择“不接收电子邮件”
  • 点击“添加”按钮

我不小心点击了“邀请成员”

<ph type="x-smartling-placeholder">

范围

传递到 Cloud Storage 的所有范围都必须是只读的

例如，在使用 Java 客户端库时，将正确的作用域 使用如下： 

StorageScopes.DEVSTORAGE_READ_ONLY