Начало работы

Когда вы взаимодействуете со своим контактным лицом по продажам или поддержке для настройки доступа к Data Transfer v2.0, вам будет предоставлено имя корзины. Вам нужно будет предоставить своему контактному лицу по продажам группу Google , которая позволит вам контролировать доступ к вашим файлам данных в Google Cloud Storage .

Вы можете получить доступ к своим данным с помощью утилиты или написать свой собственный код.

Доступ к данным с помощью gsutil

Инструмент gsutil — это приложение командной строки, написанное на Python, которое позволяет вам получать доступ к вашим данным без необходимости писать код. Например, вы можете использовать gsutil как часть сценария или пакетного файла вместо создания пользовательских приложений.

Чтобы начать работу с gsutil, прочтите документацию gsutil . Инструмент запросит ваши учетные данные при первом использовании, а затем сохранит их для дальнейшего использования.

примеры gsutil

Вы можете перечислить все ваши файлы с помощью gsutil следующим образом:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil использует почти тот же синтаксис, что и UNIX, включая подстановочную звездочку (*), поэтому вы можете перечислить все файлы NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Скачать файл также легко:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Вы можете скопировать файлы из рассредоточенных корзин Google DT в собственную корзину Google API GCS с помощью скрипта оболочки Unix, есть два варианта:

  • В gsutil, если вы используете систему Unix, ежедневно запускайте для всех своих сегментов следующую команду:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • В качестве альтернативы, решение немного сложнее — использовать файл bash: 

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Программный доступ к данным

В Google Cloud Storage есть API и образцы для многих языков программирования, которые позволяют вам получать доступ к вашим данным программным способом. Ниже приведены шаги, относящиеся к Data Transfer v2.0, которые необходимо предпринять для создания работающей интеграции.

Получить сервисный аккаунт

Чтобы начать использовать Data Transfer v2.0, вам необходимо сначала использовать инструмент настройки , который поможет вам создать проект в консоли Google API, включить API и создать учетные данные.

Чтобы настроить новую учетную запись службы, выполните следующие действия:

  1. Нажмите Создать учетные данные > Ключ служебной учетной записи .
  2. Выберите, следует ли загружать открытый/закрытый ключ сервисного аккаунта в виде стандартного файла P12 или в виде файла JSON, который можно загрузить с помощью клиентской библиотеки API Google.

Ваша новая пара открытого/закрытого ключей генерируется и загружается на ваш компьютер; он служит единственной копией этого ключа. Вы несете ответственность за его безопасное хранение.

Обязательно держите это окно открытым. На следующем шаге вам понадобится адрес электронной почты сервисной учетной записи.

Добавьте сервисный аккаунт в свою группу

  • Перейти в группу Google
  • Нажмите «Мои группы» и выберите группу, которую вы используете для управления доступом к вашему сегменту Cloud Storage DT v2.0.
  • Нажмите «Управление».
  • Не нажимайте «Пригласить участников»!
  • Нажмите Прямое добавление участников.
  • Скопируйте адрес электронной почты сервисной учетной записи из предыдущего шага в поле участников.
  • Выберите Нет электронной почты.
  • Нажмите кнопку Добавить

Я случайно нажал «Пригласить участников»

Объем

Любые области, передаваемые в Cloud Storage, должны быть доступны только для чтения.

Например, при использовании клиентской библиотеки Java правильная область применения: 

StorageScopes.DEVSTORAGE_READ_ONLY