Jetzt starten

Wenn Sie mit Ihrem Vertriebs- oder Supportmitarbeiter den Zugriff auf Data Transfer 2.0 einrichten, erhalten Sie einen Bucketnamen. Sie müssen Ihrem Vertriebskontakt eine Google-Gruppe, über die Sie Ihre auf Ihre Datendateien in Google Cloud Storage zugreifen können.

Sie können mit einem Dienstprogramm auf Ihre Daten zugreifen oder Ihren eigenen Code schreiben.

Mit gsutil auf Daten zugreifen

Das gsutil-Tool ist eine in Python geschriebene Befehlszeilenanwendung, mit der Sie ohne Programmieren auf Ihre Daten zugreifen können. Ich können Sie beispielsweise gsutil als Teil eines Skripts oder einer Batch-Datei verwenden, benutzerdefinierte Anwendungen erstellen.

Lesen Sie für den Einstieg in gsutil die gsutil Dokumentation. Beim ersten Verwenden des Tools werden Sie nach Ihren Anmeldedaten gefragt. Diese werden dann für die spätere Verwendung gespeichert.

gsutil-Beispiele

So können Sie alle Ihre Dateien mit gsutil auflisten:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil verwendet weitgehend dieselbe Syntax wie UNIX, einschließlich des Platzhalters „Sternchen“ (*). So können Sie alle NetworkImpression-Dateien auflisten:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Das Herunterladen einer Datei ist ganz einfach:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Sie können Ihre Dateien aus den verteilten DT-Google-Buckets in Ihren eigenen GCS-Bucket für die Google API kopieren. Mit einem Unix-Shell-Skript haben Sie zwei Möglichkeiten:

  • Wenn Sie ein Unix-System verwenden, führen Sie in gsutil täglich für alle Buckets den folgenden Befehl aus:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Alternativ ist die Verwendung einer Bash-Datei eine etwas schwierigere Lösung:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Programmatisch auf Daten zugreifen

Google Cloud Storage bietet APIs und Beispiele für viele Programmierungen. Sprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Unten sehen Sie die spezifischen Schritte für Data Transfer v2.0, die Sie ausführen müssen, funktionieren.

Dienstkonten abrufen

Für die Verwendung von Data Transfer v2.0 müssen Sie zuerst verwenden das Einrichtungstool, das Sie durch die Erstellung eines Projekts im Google API Console, um die API zu aktivieren und Anmeldedaten zu erstellen

So richten Sie ein neues Dienstkonto ein:

  1. Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
  2. Wählen Sie aus, ob Sie den öffentlichen/privaten Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei, die von einem Google API-Client geladen werden kann Bibliothek.

Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, sie aufzubewahren. sicher.

Lassen Sie dieses Fenster geöffnet, da Sie die E-Mail-Adresse des Dienstkontos im nächsten Schritt benötigen.

Dienstkonto zur Gruppe hinzufügen

  • Rufen Sie Google Groups auf.
  • Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, die Sie für die Zugriffsverwaltung verwenden. zu Ihrem DT v2.0 Cloud Storage-Bucket
  • Klicken Sie auf „Verwalten“.
  • Klicken Sie nicht auf „Mitglieder einladen“.
  • Klicken Sie auf „Mitglieder direkt hinzufügen“.
  • Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in den Mitgliederfeld
  • Wählen Sie Keine E-Mail-Adresse aus.
  • Klicken Sie auf die Schaltfläche „Hinzufügen“.

Ich habe versehentlich auf "Mitglieder einladen" geklickt

Umfang

Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein

Wenn Sie beispielsweise die Java-Clientbibliothek verwenden, ist der richtige Umfang: 

StorageScopes.DEVSTORAGE_READ_ONLY