Objetivo
O tutorial Validação de endereços de alto volume orientou você em diferentes cenários em que a validação de endereços de alto volume pode ser usada. Neste tutorial, vamos apresentar os diferentes padrões de design do Google Cloud Platform para executar a Validação de endereço em alto volume.
Vamos começar com uma visão geral sobre como executar a Validação de endereço de alto volume no Google Cloud Platform com o Cloud Run, o Compute Engine ou o Google Kubernetes Engine para execuções únicas. Depois vamos conferir como esse recurso pode ser incluído como parte de um pipeline de dados.
Ao final deste artigo, você vai entender bem as diferentes opções para executar a Validação de endereço em alto volume no seu ambiente do Google Cloud.
Arquitetura de referência no Google Cloud Platform
Esta seção aborda diferentes padrões de design para a validação de endereços de alto volume usando o Google Cloud Platform. Ao executar no Google Cloud Platform, você pode fazer a integração com seus processos e pipelines de dados existentes.
Como executar a validação de endereços de alto volume uma vez no Google Cloud Platform
Confira abaixo uma arquitetura de referência sobre como criar uma integração no Google Cloud Platform que seja mais adequada para operações únicas ou testes.
Nesse caso, recomendamos fazer upload do arquivo CSV para um bucket do Cloud Storage. O script de validação de endereço de alto volume pode ser executado em um ambiente do Cloud Run. No entanto, é possível executá-lo em qualquer outro ambiente de execução, como o Compute Engine ou o Google Kubernetes Engine. O CSV de saída também pode ser enviado para o bucket do Cloud Storage.
Como executar como um pipeline de dados do Google Cloud Platform
O padrão de implantação mostrado na seção anterior é ótimo para testar rapidamente a validação de endereço de alto volume para uso único. No entanto, se você precisar usá-lo regularmente como parte de um pipeline de dados, poderá aproveitar melhor os recursos nativos do Google Cloud Platform para torná-lo mais robusto. Estas são algumas das mudanças que você pode fazer:
- Nesse caso, é possível despejar arquivos CSV em buckets do Cloud Storage.
- Um job do Dataflow pode selecionar os endereços a serem processados e armazená-los em cache no BigQuery.
- A biblioteca Python do Dataflow pode ser estendida para ter uma lógica de validação de endereço de alto volume para validar os endereços do job do Dataflow.
Executar o script de um pipeline de dados como um processo recorrente e duradouro
Outra abordagem comum é validar um lote de endereços como parte de um pipeline de dados de streaming como um processo recorrente. Você também pode ter os endereços em um repositório de dados do BigQuery. Nesta abordagem, vamos conferir como criar um pipeline de dados recorrente (que precisa ser acionado diariamente/semanalmente/mensal)
- Faça upload do arquivo CSV inicial em um bucket do Cloud Storage.
- Use o Memorystore como um repositório de dados persistente para manter o estado intermediário do processo de longa duração.
- Armazene em cache os endereços finais em um repositório de dados do BigQuery.
- Configurar o Cloud Scheduler para executar o script periodicamente.
Essa arquitetura tem as seguintes vantagens:
- Com o Cloud Scheduler, a validação de endereço pode ser feita periodicamente. É recomendável revalidar os endereços mensalmente ou validar os novos a cada mês/trimestral. Essa arquitetura ajuda a resolver esse caso de uso.
Se os dados do cliente estiverem no BigQuery, os endereços validados ou as flags de validação poderão ser armazenados em cache diretamente. Observação: o que pode ser armazenado em cache e como é descrito em detalhes no artigo sobre validação de endereços de alto volume
O uso do Memorystore oferece maior resiliência e capacidade de processar mais endereços. Essas etapas adicionam um estado a todo o pipeline de processamento, o que é necessário para processar conjuntos de endereços muito grandes. Também é possível usar outras tecnologias de banco de dados, como Cloud SQL[https://cloud.google.com/sql] ou qualquer outra variação de banco de dados oferecida pelo Google Cloud Platform. No entanto, acreditamos que o Memorystore equilibra perfeitamente as necessidades de escalonamento e simplicidade e, por isso, deve ser a primeira escolha.
Conclusão
Ao aplicar os padrões descritos aqui, você pode usar a API Address Validation para diferentes casos de uso e de diferentes casos de uso na Google Cloud Platform.
Criamos uma biblioteca Python de código aberto para ajudar você a começar a usar os casos de uso descritos acima. Ele pode ser invocado em uma linha de comando no computador ou no Google Cloud Platform ou em outros provedores de nuvem.
Saiba mais sobre como usar a biblioteca neste artigo.
Próximas etapas
Faça o download do artigo Melhore a finalização da compra, a entrega e as operações com endereços confiáveis e confira o webinar Como melhorar a finalização de compras, a entrega e as operações com a Address Validation .
Leitura adicional sugerida:
- Documentação da API Address Validation
- Geocodificação e validação de endereço
- Confira a demonstração da Address Validation.
Colaboradores
Este artigo é mantido pelo Google. Os colaboradores a seguir escreveram o post originalmente.
Autores principais:
Henrik Valve | Engenheiro de soluções
Thomas Anglaret | Engenheiro de soluções
Sarthak Ganguly | Engenheiro de soluções