Ligações externas do BigQuery

Uma origem de dados externa é aquela que pode consultar diretamente a partir do BigQuery, mesmo que os dados não estejam no armazenamento do BigQuery. Por exemplo, pode ter dados numa base de dados do Google Cloud diferente, em ficheiros no Cloud Storage ou num produto da nuvem diferente que gostaria de analisar no BigQuery, mas que não está a postos para migrar.

Os exemplos de utilização para origens de dados externas incluem o seguinte:

  • Para cargas de trabalho de ELT (extrair, carregar, transformar), carregar e limpar os seus dados num passe e escrever o resultado limpo no armazenamento do BigQuery através de uma consulta CREATE TABLE ... AS SELECT.
  • Juntar tabelas do BigQuery com dados que mudam frequentemente de uma origem de dados externa. Quando consulta a origem de dados externa diretamente, não é necessário atualizar os dados para o armazenamento do BigQuery sempre que este é alterado.

Enquanto cliente do Ads Data Hub, pode tirar partido desta funcionalidade do BigQuery para importar facilmente dados originais de outras origens, como o S3 e o Azure, e juntá-los a dados de publicidade da Google nas suas consultas.

Para ver detalhes completos acerca da associação de origens de dados externas ao BigQuery, consulte o artigo Introdução a origens de dados externas.

Limitações

  • São suportadas as seguintes localizações. Se os seus dados do AWS ou Azure estiverem numa região não suportada, também pode considerar a utilização do Serviço de transferência de dados do BigQuery.
    • AWS – Leste dos EUA (Virgínia do Norte) (aws-us-east-1)
    • Azure – Leste dos EUA 2 (azure-eastus2)
  • As tarefas executadas em dados de ligações do BigQuery:

Amazon S3

Segue-se uma vista geral de nível elevado dos passos necessários para exportar dados do Amazon S3 para o BigQuery para utilização no Ads Data Hub. Consulte o artigo Ligar ao Amazon S3 para obter os detalhes completos.

  1. Crie uma política de IAM (gestão de identidade e de acesso) do AWS para o BigQuery. Após a criação da política, pode encontrar o Nome do recurso da Amazon (ARN) na página Detalhes da política.
  2. Crie uma função de IAM do AWS para o BigQuery com a política criada no passo anterior.
  3. Crie uma ligação no BigQuery. Crie uma ligação num projeto do BigQuery ao qual o Ads Data Hub tenha acesso, por exemplo, o seu projeto do administrador. A identidade Google do BigQuery, que será usada no passo seguinte, é apresentada na página Informações da ligação.
  4. Adicione uma relação de confiança à função do AWS. Na página IAM do AWS, edite a função criada no passo anterior:
    1. Modifique a duração máxima da sessão para 12 horas.
    2. Adicione uma política de fidedignidade à função do AWS com a identidade Google do BigQuery criada no passo anterior.
  5. Carregue dados no conjunto de dados do BigQuery.
  6. Consulte os dados no Ads Data Hub. Saiba como juntar dados originais.
  7. Opcional: agende o carregamento de dados contínuo no BigQuery.

Armazenamento de blobs do Azure

Segue-se uma vista geral de nível elevado dos passos necessários para exportar dados do Armazenamento de blobs do Azure para o BigQuery para utilização no Ads Data Hub. Consulte o artigo Ligar ao armazenamento de blobs para obter os detalhes completos.

  1. Crie uma aplicação no seu inquilino do Azure.
  2. Crie uma ligação no BigQuery.
    • O ID do inquilino é o ID do diretório do passo anterior.
    • O ID (de cliente) da aplicação federada é o ID (de cliente) da aplicação do passo anterior.
    • A identidade Google do BigQuery será usada no passo seguinte.
  3. Adicione uma credencial federada no Azure.
    • Como Identificador do assunto, use a identidade Google do BigQuery do passo anterior.
  4. Atribua uma função às aplicações do Azure do BigQuery, o que concede acesso de leitor aos dados do blob de armazenamento.
  5. Carregue dados no conjunto de dados do BigQuery.
  6. Consulte os dados no Ads Data Hub. Saiba como juntar dados originais.
  7. Opcional: agende o carregamento de dados contínuo no BigQuery.