Quando você trabalha com seu contato de vendas ou suporte para configurar o acesso à Transferência de dados v2.0, você vai receber um nome de bucket. Será necessário fornecer ao seu contato de vendas Grupo do Google, que permite controlar acesso aos arquivos de dados no Google Cloud Storage.
É possível acessar seus dados usando um utilitário ou escrever seu próprio código.
Acessar dados usando gsutil
A ferramenta gsutil é um aplicativo de linha de comando, escrito em Python, que permite que você acesse seus dados sem precisar de programação. Você é possível, por exemplo, usar o gsutil como parte de um script ou arquivo de lote em vez de criar aplicativos personalizados.
Para começar a usar a gsutil, leia a documentação Documentação. A ferramenta vai solicitar suas credenciais na primeira vez usá-lo e armazená-lo para uso posterior.
Exemplos da gsutil
É possível listar todos os arquivos usando gsutil da seguinte maneira:
gsutil ls gs://[bucket_name]/[object name/file name]
A gsutil usa a mesma sintaxe do UNIX, incluindo o caractere curinga asterisco (*), assim você pode listar todos os arquivos NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Também é fácil fazer o download de um arquivo:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
É possível copiar seus arquivos dos buckets de DT dispersos do Google para seu próprio bucket do GCS da API do Google com um script de shell Unix, há duas opções:
No gsutil, se você estiver usando um sistema Unix, execute o seguinte para todos os seus buckets diariamente:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Como alternativa, uma solução um pouco mais complicada é usar um arquivo bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Acessar dados de forma programática
O Google Cloud Storage tem APIs e amostras para diversas linguagens de programação linguagens que permitem o acesso programático aos dados. Abaixo você encontra as etapas específicas da Transferência de dados v2.0 que você deve seguir para criar uma integração de trabalho.
Acessar uma conta de serviço
Para começar a usar a Transferência de dados v2.0, primeiro você precisa usar a ferramenta de configuração, que orienta você na criação de um projeto no Console de APIs do Google, ativando a API e criando credenciais.
Para configurar uma nova conta de serviço:
- Clique em Criar credenciais > Chave da conta de serviço.
- Escolha se você quer fazer o download da chave pública/privada da conta de serviço como um arquivo P12 padrão ou como um arquivo JSON, que pode ser carregado por uma biblioteca cliente da API do Google.
Seu novo par de chave pública/privada é gerado, e o download dele é feito na sua máquina. Essa é a única cópia da chave. Você é responsável por armazená-la com segurança.
Mantenha esta janela aberta, porque você vai precisar do e-mail da conta de serviço na próxima etapa.
Adicionar uma conta de serviço ao grupo
- Acesse o Grupo do Google.
- Clique em "Meus grupos" e selecione o grupo que você usa para gerenciar o acesso. ao seu bucket do Cloud Storage DT v2.0
- Clique em "Gerenciar".
- Não clique em "Convidar membros".
- Clique em Adicionar participantes diretamente
- Copie o e-mail da conta de serviço da etapa anterior no caixa de membros
- Selecione "Sem e-mail"
- Clique no botão Adicionar
Cliquei acidentalmente em "Convidar membros"
Escopo
Todos os escopos transmitidos ao Cloud Storage precisam ser somente leitura
Por exemplo, ao usar a biblioteca cliente Java, o escopo correto para usar é:
StorageScopes.DEVSTORAGE_READ_ONLY