Conexões externas do BigQuery

Uma fonte de dados externa pode ser consultada direto no BigQuery, mesmo que os dados não estejam armazenados no BigQuery. Por exemplo, talvez existam dados em um banco de dados diferente do Google Cloud, em arquivos no Cloud Storage ou em outro produto de nuvem que você gostaria de analisar no BigQuery sem precisar fazer a migração deles.

Os casos de uso de fontes de dados externas incluem:

  • Para cargas de trabalho ELT (extrair-carregar-transformar), carregar e limpar os dados em uma única passagem e gravar o resultado limpo no armazenamento do BigQuery usando uma consulta CREATE TABLE ... AS SELECT.
  • Mesclar tabelas do BigQuery com dados modificados com frequência de uma fonte de dados externa. Ao consultar a fonte de dados externa de maneira direta, não é necessário recarregar os dados no armazenamento do BigQuery sempre que eles forem modificados.

Como cliente do Ads Data Hub, você pode aproveitar esse recurso do BigQuery para importar sem dificuldades dados próprios de outras fontes, como o S3 e o Azure, e combinar com os dados de publicidade do Google nas suas consultas.

Para ter acesso a informações completas de como conectar fontes de dados externas ao BigQuery, consulte Introdução a fontes de dados externas.

Limitações

  • Os locais a seguir têm suporte. Se os dados da AWS ou do Azure estiverem em outra região, considere usar o serviço de transferência de dados do BigQuery.
    • AWS – US East (N. Virginia) (aws-us-east-1)
    • Azure - East US 2 (azure-eastus2)
  • Atividades executadas em dados de conexões do BigQuery:

Amazon S3

Confira a seguir uma visão geral de alto nível das etapas necessárias para exportar dados do Amazon S3 para o BigQuery e usar no Ads Data Hub. Consulte Conectar-se ao Amazon S3 para mais detalhes.

  1. Crie uma política do AWS IAM para o BigQuery. Depois que a política é criada, o nome de recurso da Amazon (ARN) pode ser encontrado na página Detalhes da política.
  2. Crie um papel do AWS IAM para o BigQuery usando a política da etapa anterior.
  3. Crie uma conexão no BigQuery. Crie uma conexão em um projeto do BigQuery que o Ads Data Hub possa acessar, por exemplo, seu projeto de administrador. A identidade do Google BigQuery, que vai ser usada na próxima etapa, é mostrada na página Informações de conexão.
  4. Adicione um relacionamento de confiança ao papel da AWS. Na página do AWS IAM, edite o papel criado na etapa anterior:
    1. Modifique a duração máxima da sessão para 12 horas.
    2. Adicione uma política de confiança ao papel da AWS usando a identidade do Google no BigQuery criada na etapa anterior.
  5. Carregue os dados no conjunto de dados do BigQuery.
  6. Consulte os dados no Ads Data Hub. Saiba como mesclar dados próprios.
  7. Opcional: programe o carregamento de dados contínuo no BigQuery.

Armazenamento de blobs do Azure

Confira a seguir uma visão geral de alto nível das etapas necessárias para exportar dados do Armazenamento de blobs do Azure para o BigQuery e usar no Ads Data Hub. Consulte Conectar ao armazenamento de blobs para acessar todos os detalhes.

  1. Crie um aplicativo no locatário do Azure.
  2. Crie uma conexão no BigQuery.
    • Código do locatário é o ID do diretório da etapa anterior.
    • ID do aplicativo federado (cliente) é o ID do aplicativo (cliente) da etapa anterior.
    • A identidade do Google no BigQuery vai ser usada na próxima etapa.
  3. Adicione uma credencial federada no Azure.
    • Em Identificador de assunto, use a identidade do Google no BigQuery da etapa anterior.
  4. Atribua um papel aos aplicativos do Azure no BigQuery, concedendo acesso de leitor de dados do blob de armazenamento.
  5. Carregue os dados no conjunto de dados do BigQuery.
  6. Consulte os dados no Ads Data Hub. Saiba como mesclar dados próprios.
  7. Opcional: programe o carregamento de dados contínuo no BigQuery.