Połączenia zewnętrzne z BigQuery

Zewnętrzne źródło danych to źródło danych, do którego możesz wysyłać zapytania bezpośrednio z BigQuery, mimo że dane nie są przechowywane w BigQuery. Informacje nieprzygotowane do migracji, które chcesz przeanalizować w BigQuery, możesz na przykład mieć w innej bazie danych Google Cloud, w plikach w Cloud Storage lub w zupełnie innej usłudze w chmurze.

Przykłady korzystania z zewnętrznych źródeł danych:

  • W przypadku zadań polegających na wyodrębnianiu, wczytywaniu i przekształcaniu (ang. extract-load-transform, ELT) możesz przy użyciu zapytania CREATE TABLE ... AS SELECT jednoprzebiegowo wczytywać i czyścić dane oraz zapisywać oczyszczone wyniki w miejscu na dane w BigQuery.
  • Tabele BigQuery możesz złączać z często zmienianymi informacjami z zewnętrznego źródła danych. Dzięki bezpośredniemu wysyłaniu zapytań do zewnętrznego źródła danych nie musisz po każdej zmianie informacji ponownie ich wczytywać do miejsca na dane w BigQuery.

Jeśli korzystasz z Centrum danych reklam, możesz używać tej funkcji BigQuery do łatwego importowania danych własnych z innych źródeł, np. z S3 czy Azure, a następnie łączenia ich w swoich zapytaniach z danymi reklamowymi Google.

Więcej informacji o łączeniu zewnętrznych źródeł danych z BigQuery znajdziesz w artykule Wprowadzenie do zewnętrznych źródeł danych.

Ograniczenia

  • Obsługiwane są tylko te lokalizacje. Jeśli dane AWS lub Azure znajdują się w nieobsługiwanym regionie, zastanów się nad skorzystaniem z usługi BigQuery Data Transfer Service.
    • AWS: USA – wschód (Północna Wirginia)  (aws-us-east-1)
    • Azure: USA – wschód 2 (azure-eastus2)
  • Zadania operujące na podstawie danych pochodzących z połączeń z BigQuery:

Amazon S3

Poniżej znajdziesz ogólny przegląd kroków wymaganych do eksportowania do BigQuery danych z Amazon S3, które będą potrzebne w Centrum danych reklam. Więcej informacji znajdziesz na stronie Łączenie z Amazon S3.

  1. Utwórz na potrzeby BigQuery zasadę uprawnień AWS. Gdy to zrobisz, nazwę zasobu Amazon (ARN) znajdziesz na stronie Informacje o zasadach.
  2. Utwórz na potrzeby BigQuery rolę uprawnień AWS, korzystając z zasady utworzonej w poprzednim kroku.
  3. Utwórz połączenie w BigQuery. Zrób to w projekcie BigQuery, do którego ma dostęp Centrum danych reklam, np. w projekcie administratora. Tożsamość Google w BigQuery, której użyjesz w następnym kroku, zostanie wyświetlona na stronie Informacje o połączeniu.
  4. Dodaj do roli AWS relację zaufania. Na stronie Uprawnienia AWS przeprowadź edycję roli utworzonej w poprzednim kroku:
    1. Zmień maksymalny czas trwania sesji na 12 godzin.
    2. Za pomocą tożsamości Google w BigQuery utworzonej w poprzednim kroku dodaj do roli AWS relację zaufania.
  5. Wczytaj dane do zbioru danych BigQuery.
  6. W Centrum danych reklam wyślij zapytanie o te dane. Dowiedz się więcej o złączaniu danych własnych.
  7. Opcjonalnie: zaplanuj ciągłe wczytywanie danych do BigQuery.

Azure Blob Storage

Poniżej znajdziesz ogólny przegląd kroków wymaganych do eksportowania do BigQuery danych z Azure Blob Storage, które będą potrzebne w Centrum danych reklam. Więcej informacji znajdziesz w artykule Łączenie z Blob Storage.

  1. Utwórz aplikację w najemcy Azure.
  2. Utwórz połączenie w BigQuery.
    • Identyfikator najemcy to identyfikator katalogu z poprzedniego kroku.
    • Identyfikator sfederowanej aplikacji (klienta) to identyfikator aplikacji (klienta) z poprzedniego kroku.
    • W następnym kroku użyjesz tożsamości Google w BigQuery.
  3. Dodaj w Azure sfederowane dane uwierzytelniające.
    • Jako Identyfikatora podmiotu użyj tożsamości Google w BigQuery z poprzedniego kroku.
  4. Przypisz rolę aplikacjom Azure w BigQuery, przyznając dostęp czytnikowi danych Blob Storage.
  5. Wczytaj dane do zbioru danych BigQuery.
  6. W Centrum danych reklam wyślij zapytanie o te dane. Dowiedz się więcej o złączaniu danych własnych.
  7. Opcjonalnie: zaplanuj ciągłe wczytywanie danych do BigQuery.