Externe BigQuery-Verbindungen

Eine externe Datenquelle ist eine Datenquelle, für die sich auch dann direkt aus BigQuery heraus eine Abfrage ausführen lässt, wenn sich die Daten nicht im BigQuery-Speicher befinden. Angenommen, Sie haben Daten in einer anderen Google Cloud-Datenbank, in Dateien in Cloud Storage oder in einem anderen Cloud-Produkt, die Sie in BigQuery analysieren möchten, die aber nicht für die Migration vorbereitet sind.

Mögliche Anwendungsfälle für externe Datenquellen:

  • Bei ELT-Arbeitslasten (Extrahieren, Laden, Transformieren) werden Ihre Daten in einem einzigen Vorgang geladen und bereinigt. Das bereinigte Ergebnis wird dann mithilfe einer CREATE TABLE ... AS SELECT-Abfrage in den BigQuery-Speicher geschrieben.
  • Sie führen BigQuery-Tabellen mit häufig wechselnden Daten aus einer externen Datenquelle zusammen. Wenn Sie eine direkte Abfrage für die externe Datenquelle ausführen, müssen Sie die Daten nicht bei jeder Änderung neu in den BigQuery-Speicher laden.

Als Ads Data Hub-Kunde können Sie diese BigQuery-Funktion nutzen, um auf einfache Weise selbst erhobene Daten aus anderen Quellen wie S3 und Azure einzubinden und sie in Ihren Abfragen mit Google-Werbedaten zu verknüpfen.

Weitere Informationen zum Verbinden externer Datenquellen mit BigQuery finden Sie unter Einführung in externe Datenquellen.

Einschränkungen

  • Die folgenden Standorte werden unterstützt. Wenn sich Ihre AWS- oder Azure-Daten in einer nicht unterstützten Region befinden, können Sie auch den BigQuery Data Transfer Service verwenden.
    • AWS – US East (N. Virginia) (aws-us-east-1)
    • Azure – East US 2 (azure-eastus2)
  • Für Aufträge, die für Daten aus BigQuery-Verbindungen ausgeführt werden, gilt:

Amazon S3

Im Folgenden finden Sie eine allgemeine Übersicht über die erforderlichen Schritte zum Exportieren von Daten aus Amazon S3 nach BigQuery zur Verwendung in Ads Data Hub. Weitere Informationen finden Sie unter Verbindung zu Amazon S3 herstellen.

  1. Erstellen Sie eine AWS IAM-Richtlinie für BigQuery. Nachdem die Richtlinie erstellt wurde, finden Sie den Amazon Resource Name (ARN) auf der Seite Richtliniendetails.
  2. Erstellen Sie eine AWS IAM-Rolle für BigQuery und verwenden Sie dazu die im vorherigen Schritt erstellte Richtlinie.
  3. Erstellen Sie eine Verbindung in BigQuery. Erstellen Sie eine Verbindung in einem BigQuery-Projekt, auf das Ads Data Hub Zugriff hat, z. B. Ihr Administratorprojekt. Die BigQuery-Google-Identität, die im nächsten Schritt verwendet wird, ist auf der Seite Verbindungsinformationen aufgeführt.
  4. Fügen Sie der AWS-Rolle eine Vertrauensstellung hinzu. Bearbeiten Sie auf der Seite AWS IAM die Rolle, die im vorherigen Schritt erstellt wurde:
    1. Ändern Sie die maximale Sitzungsdauer auf 12 Stunden.
    2. Fügen Sie der AWS-Rolle mithilfe der im vorherigen Schritt erstellten BigQuery-Google-Identität eine Vertrauensstellung hinzu.
  5. Laden Sie Daten in das BigQuery-Dataset.
  6. Führen Sie eine Abfrage in Ads Data Hub aus. Weitere Informationen zum Zusammenführen von selbst erhobenen Daten
  7. Optional: Planen Sie das kontinuierliche Laden von Daten in BigQuery.

Azure Blob Storage

Im Folgenden finden Sie eine allgemeine Übersicht über die erforderlichen Schritte zum Exportieren von Daten aus Azure Blob Storage nach BigQuery zur Verwendung in Ads Data Hub. Weitere Informationen finden Sie unter Mit Blob Storage verbinden.

  1. Erstellen Sie eine Anwendung in Ihrem Azure-Mandanten.
  2. Erstellen Sie eine Verbindung in BigQuery.
    • Die Mandanten-ID ist die Verzeichnis-ID aus dem vorherigen Schritt.
    • Die ID der föderierten Anwendung (Client) ist die ID der Anwendung (Client) aus dem vorherigen Schritt.
    • Im nächsten Schritt wird die BigQuery-Google-Identität verwendet.
  3. Fügen Sie in Azure föderierte Anmeldedaten hinzu.
    • Verwenden Sie die BigQuery-Google-Identität aus dem vorherigen Schritt als Subjekt-ID.
  4. Weisen Sie den Azure-Anwendungen von BigQuery eine Rolle zu und gewähren Sie Lesern von Storage Blob-Daten Zugriff.
  5. Laden Sie Daten in das BigQuery-Dataset.
  6. Führen Sie eine Abfrage in Ads Data Hub aus. Weitere Informationen zum Zusammenführen von selbst erhobenen Daten
  7. Optional: Planen Sie das kontinuierliche Laden von Daten in BigQuery.