Quando collabori con il tuo contatto del team di vendita o dell'assistenza per configurare l'accesso a Data Transfer v2.0, ti verrà fornito un nome per il bucket. Dovrai fornire al tuo contatto commerciale un Gruppo Google, che consente di controllare ai file di dati in Google Cloud Storage.
Puoi scegliere di accedere ai tuoi dati utilizzando un'utilità oppure scrivere il tuo codice.
Accedere ai dati utilizzando gsutil
Lo strumento gsutil è un'applicazione a riga di comando, scritta in Python, che di accedere ai tuoi dati senza dover scrivere codice. Tu ad esempio, utilizzare gsutil come parte di uno script o un file batch anziché creando applicazioni personalizzate.
Per iniziare a utilizzare gsutil, leggi l'articolo gsutil documentazione. Lo strumento ti chiederà le credenziali la prima volta lo usi e poi li archivi per usarli in un secondo momento.
Esempi di gsutil
Puoi elencare tutti i tuoi file utilizzando gsutil nel seguente modo:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil utilizza in gran parte la stessa sintassi di UNIX, incluso il carattere jolly asterisco (*), in modo da poter elencare tutti i file NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
È anche facile scaricare un file:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Puoi copiare i tuoi file dai bucket DT Google distribuiti nel tuo bucket GCS dell'API di Google utilizzando uno script shell Unix, le opzioni sono due:
In gsutil, se utilizzi un sistema Unix, esegui ogni giorno quanto segue per tutti i tuoi bucket:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/In alternativa, una soluzione un po' più complessa consiste nell'utilizzare un file bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Accedi ai dati in modo programmatico
Google Cloud Storage offre API ed esempi per molti programmi di linguaggi di programmazione che ti consentono di accedere ai dati in modo programmatico. Di seguito sono riportati i passaggi specifici di Data Transfer v2.0 da eseguire per creare un il funzionamento dell'integrazione.
Recupero di un account di servizio
Per iniziare a utilizzare Data Transfer v2.0, è necessario innanzitutto usa lo strumento di configurazione, che ti guida nella creazione di un progetto nell' Console API di Google, abilitare l'API e creare le credenziali.
Per configurare un nuovo account di servizio:
- Fai clic su Crea credenziali > Chiave account di servizio.
- Scegli se scaricare la chiave pubblica/privata dell'account di servizio come file P12 standard o come file JSON che può essere caricato da un client API di Google libreria.
Viene generata e scaricata sul tuo computer una nuova coppia di chiave pubblica/privata, che sarà l'unica copia esistente. Sei responsabile dell'archiviazione in modo sicuro.
Assicurati di tenere aperta questa finestra, avrai bisogno dell'indirizzo email dell'account di servizio nel passaggio successivo.
Aggiungere un account di servizio al gruppo
- Vai a Google Gruppi
- Fai clic su I miei gruppi e seleziona il gruppo che utilizzi per gestire l'accesso al bucket Cloud Storage DT v2.0
- Fai clic su Gestisci
- Non fare clic su Invita membri.
- Fai clic su Aggiungi membri direttamente
- Copia l'email dell'account di servizio dal passaggio precedente nel casella membri
- Seleziona Nessuna email
- Fai clic sul pulsante Aggiungi
Ho fatto clic accidentalmente su Invita membri
Ambito
Tutti gli ambiti passati a Cloud Storage devono essere di sola lettura
Ad esempio, quando utilizzi la libreria client Java, l'ambito corretto è:
StorageScopes.DEVSTORAGE_READ_ONLY