Objetivo
O tutorial Validação de endereço de alto volume orientou você em diferentes cenários em que é possível usar a validação de endereço de alto volume. Neste tutorial, vamos apresentar os diferentes padrões de design do Google Cloud Platform para executar a Validação de endereço em alto volume.
Vamos começar com uma visão geral de como executar a Validação de endereço de alto volume no Google Cloud Platform com o Cloud Run, Compute Engine ou Google Kubernetes Engine para execuções únicas. Depois vamos conferir como esse recurso pode ser incluído como parte de um pipeline de dados.
Ao final deste artigo, você terá um bom entendimento das diferentes opções para executar a Address Validation em grande volume no seu ambiente do Google Cloud.
Arquitetura de referência no Google Cloud Platform
Esta seção detalha os diferentes padrões de design para validação de endereço de alto volume usando o Google Cloud Platform. Ao executar no Google Cloud Platform, você pode fazer a integração com seus processos e pipelines de dados existentes.
Executando validação de endereço de alto volume uma vez no Google Cloud Platform
Veja abaixo uma arquitetura de referência sobre como criar uma integração no Google Cloud Platform que é mais adequada para operações ou testes únicos.
Nesse caso, recomendamos fazer upload do arquivo CSV para um bucket do Cloud Storage. O script de validação de endereço de alto volume pode ser executado em um ambiente do Cloud Run. No entanto, ele pode ser executado em qualquer outro ambiente de execução, como o Compute Engine ou o Google Kubernetes Engine. O CSV de saída também pode ser enviado para o bucket do Cloud Storage.
Como executar como um pipeline de dados do Google Cloud Platform
O padrão de implantação mostrado na seção anterior é ótimo para testar rapidamente a validação de endereço de alto volume para uso único. No entanto, se você precisar usá-lo regularmente como parte de um pipeline de dados, aproveite melhor os recursos nativos do Google Cloud Platform para torná-lo mais robusto. Algumas das alterações que você pode fazer incluem:
- Nesse caso, é possível despejar arquivos CSV em buckets do Cloud Storage.
- Um job do Dataflow pode selecionar os endereços a serem processados e armazená-los em cache no BigQuery.
- A biblioteca Python do Dataflow pode ser estendida para ter uma lógica de validação de endereço de alto volume para validar os endereços do job do Dataflow.
Executar o script de um pipeline de dados como um processo recorrente e duradouro
Outra abordagem comum é validar um lote de endereços como parte de um pipeline de dados de streaming como um processo recorrente. Você também pode ter os endereços em um repositório de dados do BigQuery. Nesta abordagem, veremos como criar um pipeline de dados recorrente (que precisa ser acionado diariamente/semanalmente/mensalmente).
- Faça upload do arquivo CSV inicial em um bucket do Cloud Storage.
- Use o Memorystore como um repositório de dados persistente para manter o estado intermediário para o processo de longa duração.
- Armazene em cache os endereços finais em um repositório de dados do BigQuery.
- Configurar o Cloud Scheduler para executar o script periodicamente.
Essa arquitetura tem as seguintes vantagens:
- Com o Cloud Scheduler, a validação de endereço pode ser feita periodicamente. É recomendável revalidar os endereços mensalmente ou validar os novos a cada mês/trimestral. Essa arquitetura ajuda a resolver esse caso de uso.
Se os dados do cliente estiverem no BigQuery, os endereços validados ou as sinalizações de validação poderão ser armazenados em cache diretamente nele. Observação: o que pode ser armazenado em cache e como é descrito em detalhes no artigo sobre validação de endereço de alto volume
Usar o Memorystore oferece maior resiliência e capacidade de processar mais endereços. Essas etapas adicionam um estado a todo o pipeline de processamento, o que é necessário para lidar com conjuntos de dados de endereços muito grandes. Também é possível usar outras tecnologias de banco de dados, como o Cloud SQL [https://cloud.google.com/sql] ou qualquer outra variação de banco de dados oferecida pelo Google Cloud Platform. No entanto, acreditamos que o Memorystore equilibra perfeitamente as necessidades de escalonamento e simplicidade e, por isso, deve ser a primeira escolha.
Conclusão
Ao aplicar os padrões descritos aqui, é possível usar a API Address Validation em diferentes casos de uso no Google Cloud Platform.
Criamos uma biblioteca Python de código aberto para ajudar você a começar com os casos de uso descritos acima. Ele pode ser invocado de uma linha de comando no computador ou do Google Cloud Platform ou de outros provedores de nuvem.
Saiba mais sobre como usar a biblioteca neste artigo.
Próximas etapas
Faça o download do artigo Melhore a finalização da compra, a entrega e as operações com endereços confiáveis e confira o webinar Como melhorar a finalização de compras, a entrega e as operações com a Address Validation .
Leitura adicional sugerida:
- Documentação da API Address Validation
- Geocodificação e validação de endereço
- Confira a demonstração da Address Validation
Colaboradores
O Google mantém este artigo. Os colaboradores a seguir o escreveram originalmente.
Autores principais:
Henrik Valve | Engenheiro de soluções
Thomas Anglaret | Engenheiro de soluções
Sarthak Ganguly | Engenheiro de soluções