Quando você trabalhar com seu contato de vendas ou de suporte para configurar o acesso à Data Transfer v2.0, receberá um nome de bucket. Será necessário fornecer ao seu contato de vendas um grupo do Google que permita controlar o acesso aos seus arquivos de dados no Google Cloud Storage.
É possível acessar seus dados usando um utilitário ou escrever seu próprio código.
Acessar dados com a gsutil
A ferramenta gsutil é um aplicativo de linha de comando, escrito em Python, que permite acessar seus dados sem precisar de programação. É possível, por exemplo, usar o gsutil como parte de um script ou arquivo em lote em vez de criar aplicativos personalizados.
Para começar a usar a gsutil, leia a documentação da gsutil. A ferramenta solicitará suas credenciais na primeira vez em que for usada, e depois as armazenará para uso posterior.
Exemplos da gsutil
Para listar todos os seus arquivos, use o gsutil:
gsutil ls gs://[bucket_name]/[object name/file name]
A gsutil usa grande parte da mesma sintaxe do UNIX, incluindo o asterisco curinga (*), para que você possa listar todos os arquivos NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Também é fácil fazer o download de um arquivo:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
É possível copiar seus arquivos dos buckets DT dispersos do Google para seu próprio bucket do GCS da API do Google usando um script de shell Unix, há duas opções:
Na gsutil, se você estiver usando um sistema Unix, execute o seguinte para todos os seus buckets diariamente:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Como alternativa, uma solução um pouco mais complicada é usar um arquivo bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Acessar dados de maneira programática
O Google Cloud Storage tem APIs e amostras para muitas linguagens de programação que permitem o acesso aos dados de maneira programática. Veja abaixo as etapas específicas para a Transferência de dados v2.0 que você precisa seguir para criar uma integração de trabalho.
Acessar uma conta de serviço
Para começar a usar o Data Transfer v2.0, primeiro você precisa usar a ferramenta de configuração, que orienta você na criação de um projeto no Console de APIs do Google, na ativação da API e na criação de credenciais.
Para configurar uma nova conta de serviço:
- Clique em Criar credenciais > Chave da conta de serviço.
- Escolha se você quer fazer o download da chave pública/privada da conta de serviço como um arquivo P12 padrão ou como um arquivo JSON, que pode ser carregado por uma biblioteca cliente da API do Google.
Seu novo par de chave pública/privada é gerado, e o download dele é feito na sua máquina. Essa é a única cópia da chave. Você é responsável por armazená-la com segurança.
Mantenha esta janela aberta. Você precisará do e-mail da conta de serviço na próxima etapa.
Adicionar uma conta de serviço ao seu grupo
- Acesse o Grupo do Google
- Clique em "Meus grupos" e selecione o grupo que você usa para gerenciar o acesso ao bucket do Cloud Storage para DT v2.0
- Clique em "Gerenciar"
- Não clique em "Convidar membros".
- Clique em "Adicionar participantes diretamente"
- Copie o e-mail da conta de serviço da etapa anterior para a caixa "Members"
- Selecione "Nenhum e-mail"
- Clique no botão "Adicionar".
Cliquei acidentalmente em "Convidar membros"
Escopo
Todos os escopos transmitidos ao Cloud Storage precisam ser somente leitura
Por exemplo, ao usar a biblioteca de cliente Java, o escopo correto a ser usado é:
StorageScopes.DEVSTORAGE_READ_ONLY