Inizia

Quando collabori con il tuo contatto del team di vendita o dell'assistenza per configurare l'accesso a Data Transfer v2.0, ti verrà fornito un nome per il bucket. Dovrai fornire al tuo contatto commerciale un Gruppo Google, che consente di controllare ai file di dati in Google Cloud Storage.

Puoi scegliere di accedere ai tuoi dati utilizzando un'utilità oppure scrivere il tuo codice.

Accedere ai dati utilizzando gsutil

Lo strumento gsutil è un'applicazione a riga di comando, scritta in Python, che di accedere ai tuoi dati senza dover scrivere codice. Ad esempio, puoi utilizzare gsutil all'interno di uno script o di un file batch anziché creare applicazioni personalizzate.

Per iniziare a utilizzare gsutil, leggi l'articolo gsutil documentazione. Lo strumento ti chiederà le tue credenziali la prima volta che lo utilizzi, quindi le memorizza per utilizzarle in un secondo momento.

Esempi di gsutil

Puoi elencare tutti i tuoi file utilizzando gsutil nel seguente modo:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil utilizza in gran parte la stessa sintassi di UNIX, incluso il carattere jolly asterisco (*), in modo da poter elencare tutti i file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

È anche facile scaricare un file:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Puoi copiare i file dai bucket Google DT sparsi nel tuo bucket GCS dell'API Google utilizzando uno script shell Unix. Hai due opzioni:

  • In gsutil, se utilizzi un sistema Unix, esegui ogni giorno quanto segue per tutti i tuoi bucket:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • In alternativa, una soluzione un po' più complicata è utilizzare un file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Accedi ai dati in modo programmatico

Google Cloud Storage dispone di API e esempi per molti linguaggi di programmazione che ti consentono di accedere ai tuoi dati in modo programmatico. Di seguito sono riportati i passaggi specifici della versione 2.0 di Data Transfer che devi seguire per creare un'integrazione funzionante.

Recupero di un account di servizio

Per iniziare a utilizzare Data Transfer v2.0, è necessario innanzitutto usa lo strumento di configurazione, che ti guida nella creazione di un progetto nell' Console API di Google, abilitare l'API e creare le credenziali.

Per configurare un nuovo account di servizio:

  1. Fai clic su Crea credenziali > Chiave dell'account di servizio.
  2. Scegli se scaricare la chiave pubblica/privata dell'account di servizio come file P12 standard o come file JSON che può essere caricato da una libreria client API di Google.

Viene generata e scaricata sul tuo computer una nuova coppia di chiave pubblica/privata, che sarà l'unica copia esistente. Sei responsabile dell'archiviazione in modo sicuro.

Assicurati di tenere aperta questa finestra, avrai bisogno dell'indirizzo email dell'account di servizio nel passaggio successivo.

Aggiungere un account di servizio al gruppo

  • Vai a Gruppo Google
  • Fai clic su I miei gruppi e seleziona il gruppo che utilizzi per gestire l'accesso al bucket Cloud Storage DT v2.0
  • Fai clic su Gestisci
  • Non fare clic su Invita membri.
  • Fai clic su Aggiungi membri direttamente
  • Copia l'email dell'account di servizio dal passaggio precedente nel casella membri
  • Seleziona Nessuna email
  • Fai clic sul pulsante Aggiungi

Ho fatto clic per errore su Invita membri

Ambito

Qualsiasi ambito passato a Cloud Storage deve essere di sola lettura

Ad esempio, quando utilizzi la libreria client Java, l'ambito corretto è: 

StorageScopes.DEVSTORAGE_READ_ONLY