Connexions BigQuery externes

Une source de données externe est une source qui peut être interrogée directement depuis BigQuery, même si les données ne se trouvent pas dans un stockage BigQuery. Par exemple, il peut arriver que vous stockiez des données dans une autre base de données Google Cloud, dans des fichiers Cloud Storage ou dans un autre produit cloud, et que vous souhaitiez les analyser dans BigQuery, mais que vous ne soyez pas prêt à les migrer.

Vous pouvez, entre autres, utiliser des sources de données externes dans les cas suivants :

  • Charger et nettoyer vos données en une seule fois, puis écrire le résultat nettoyé dans le stockage BigQuery à l'aide d'une requête CREATE TABLE ... AS SELECT pour les charges de travail ELT (Extract-Load-Transform ou Extraction-Chargement-Transformation)
  • Joindre des tables BigQuery dont les données proviennent d'une source de données externe et changent souvent En interrogeant directement la source de données externe, vous n'avez pas besoin d'actualiser les données de l'espace de stockage BigQuery chaque fois qu'elles sont modifiées.

En tant que client Ads Data Hub, vous pouvez utiliser cette fonctionnalité BigQuery afin d'importer facilement des données first party depuis d'autres sources (comme S3 et Azure) et de les joindre aux données publicitaires Google dans vos requêtes.

Pour en savoir plus sur la connexion de sources de données externes à BigQuery, consultez Présentation des sources de données externes.

Limites

  • Les zones géographiques suivantes sont prises en charge. Si vos données AWS ou Azure sont stockées dans une région qui n'est pas prise en charge, vous pouvez aussi envisager d'utiliser le Service de transfert de données BigQuery.
    • AWS : est des États-Unis (Virginie du Nord) (aws-us-east-1)
    • Azure : est des États-Unis 2 (azure-eastus2)
  • Jobs exécutés sur des données provenant de connexions BigQuery :

Amazon S3

Vous trouverez ci-dessous une présentation générale des étapes requises pour exporter des données d'Amazon S3 vers BigQuery afin de les utiliser dans Ads Data Hub. Pour en savoir plus, consultez Se connecter à Amazon S3.

  1. Créez une stratégie AWS IAM pour BigQuery. Le nom de ressource Amazon (ARN, Amazon Resource Name) sera alors indiqué sur la page Policy details (Détails de la stratégie).
  2. Créez un rôle AWS IAM pour BigQuery à l'aide de la stratégie créée lors de l'étape précédente.
  3. Créez une connexion dans BigQuery. Créez une connexion dans un projet BigQuery auquel Ads Data Hub a accès (par exemple, votre projet administrateur). L'identité Google BigQuery, qui sera utilisée à l'étape suivante, est affichée sur la page Connection info (Informations sur la connexion).
  4. Ajoutez une relation d'approbation au rôle AWS. Sur la page AWS IAM, modifiez le rôle créé lors de l'étape précédente :
    1. Modifiez la durée maximale de la session sur 12 heures.
    2. Ajoutez une stratégie d'approbation au rôle AWS à l'aide de l'identité Google BigQuery créée lors de l'étape précédente.
  5. Chargez les données dans l'ensemble de données BigQuery.
  6. Interrogez les données dans Ads Data Hub. Découvrez comment joindre des données first party.
  7. (Facultatif) Planifiez le chargement continu des données dans BigQuery.

Stockage Blob Azure

Vous trouverez ci-dessous une présentation générale des étapes requises pour exporter les données de votre stockage Blob Azure vers BigQuery afin de les utiliser dans Ads Data Hub. Pour en savoir plus, consultez Se connecter à un stockage Blob.

  1. Créez une application dans votre locataire Azure.
  2. Créez une connexion dans BigQuery.
    • L'ID de locataire correspond à l'ID d'annuaire de l'étape précédente.
    • L'ID d'application fédérée (client) correspond à l'ID d'application (client) de l'étape précédente.
    • L'identité Google BigQuery sera utilisée lors de l'étape suivante.
  3. Ajoutez des identifiants fédérés dans Azure.
    • Dans le champ Identifiant de l'objet, utilisez l'identité Google BigQuery de l'étape précédente.
  4. Attribuez un rôle aux applications Azure de BigQuery en leur accordant l'accès "Storage Blob Data Reader" (Lecteur des données Blob du stockage).
  5. Chargez les données dans l'ensemble de données BigQuery.
  6. Interrogez les données dans Ads Data Hub. Découvrez comment joindre des données first party.
  7. (Facultatif) Planifiez le chargement continu des données dans BigQuery.