Começar

Ao trabalhar com seu contato de vendas ou suporte para configurar o acesso à Transferência de dados V2.0, você vai receber o nome de um bucket. Você precisa fornecer ao seu contato de vendas um Grupo do Google que permita controlar o acesso aos seus arquivos de dados no Google Cloud Storage.

Você pode acessar seus dados usando um utilitário ou escrever seu próprio código.

Acessar dados usando o gsutil

A ferramenta gsutil é um aplicativo de linha de comando escrito em Python que permite acessar seus dados sem precisar programar. Você é possível, por exemplo, usar o gsutil como parte de um script ou arquivo de lote em vez de criar aplicativos personalizados.

Para começar a usar a gsutil, leia a documentação Documentação. A ferramenta vai solicitar suas credenciais na primeira vez usá-lo e armazená-lo para uso posterior.

Exemplos de gsutil

É possível listar todos os arquivos usando gsutil da seguinte maneira:

gsutil ls gs://[bucket_name]/[object name/file name]

A gsutil usa a mesma sintaxe do UNIX, incluindo o caractere curinga asterisco (*), assim você pode listar todos os arquivos NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Também é fácil fazer o download de um arquivo:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

É possível copiar seus arquivos dos buckets dispersos da DT do Google para seu próprio bucket do GCS da API do Google com um script de shell Unix, há duas opções:

  • No gsutil, se você estiver usando um sistema Unix, execute o seguinte em todos os buckets diariamente:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Como alternativa, uma solução um pouco mais complicada é usar um arquivo bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Acessar dados de maneira programática

O Google Cloud Storage tem APIs e exemplos para muitas linguagens de programação que permitem acessar seus dados de maneira programática. Abaixo você encontra as etapas específicas da Transferência de dados v2.0 que você deve seguir para criar uma integração de trabalho.

Acessar uma conta de serviço

Para começar a usar a Transferência de dados v2.0, primeiro você precisa usar a ferramenta de configuração, que orienta você na criação de um projeto no Console de APIs do Google, ativando a API e criando credenciais.

Para configurar uma nova conta de serviço:

  1. Clique em Criar credenciais > Chave da conta de serviço.
  2. Escolha se você quer fazer o download da chave pública/privada da conta de serviço como um arquivo P12 padrão ou como um arquivo JSON, que pode ser carregado por uma biblioteca cliente da API do Google.

Seu novo par de chave pública/privada é gerado, e o download dele é feito na sua máquina. Essa é a única cópia da chave. Você é responsável por armazená-la com segurança.

Mantenha essa janela aberta. Você vai precisar do e-mail da conta de serviço na próxima etapa.

Adicionar uma conta de serviço ao grupo

  • Acesse Grupos do Google.
  • Clique em "Meus grupos" e selecione o grupo que você usa para gerenciar o acesso. ao seu bucket do Cloud Storage DT v2.0
  • Clique em "Gerenciar".
  • Não clique em "Convidar participantes".
  • Clique em "Adicionar participantes diretamente".
  • Copie o e-mail da conta de serviço da etapa anterior para o caixa de membros
  • Selecione "Nenhum e-mail"
  • Clique no botão Adicionar

Cliquei acidentalmente em "Convidar membros"

Escopo

Todos os escopos transmitidos ao Cloud Storage precisam ser somente leitura

Por exemplo, ao usar a biblioteca cliente Java, o escopo correto para usar é: 

StorageScopes.DEVSTORAGE_READ_ONLY