Google Cloud Platform で大量の住所確認を行うための設計パターン
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
目標
高ボリューム アドレス検証のチュートリアルでは、高ボリューム アドレス検証を使用できるさまざまなシナリオについて説明しました。このチュートリアルでは、大量の住所確認を実行するための Google Cloud Platform 内のさまざまな設計パターンを紹介します。
まず、Cloud Run、Compute Engine、Google Kubernetes Engine を使用して Google Cloud Platform で高ボリュームの住所検証を 1 回実行する概要について説明します。次に、この機能をデータ パイプラインの一部として組み込む方法について説明します。
この記事を読み終えるころには、Google Cloud 環境で大量のアドレス検証を実行するためのさまざまなオプションについて十分に理解できているはずです。
このセクションでは、Google Cloud Platform を使用した大量の住所検証のさまざまな設計パターンについて詳しく説明します。Google Cloud Platform で実行することで、既存のプロセスやデータ パイプラインと統合できます。
以下は、Google Cloud Platform で統合を構築する方法のリファレンス アーキテクチャです。これは、1 回限りのオペレーションやテストに適しています。
この場合は、CSV ファイルを Cloud Storage バケットにアップロードすることをおすすめします。高容量アドレス検証スクリプトは、Cloud Run 環境から実行できます。ただし、Compute Engine や Google Kubernetes Engine などの他のランタイム環境で実行できます。出力 CSV を Cloud Storage バケットにアップロードすることもできます。
前のセクションで示したデプロイ パターンは、1 回限りの使用で High Volume Address Validation をすばやくテストする場合に最適です。ただし、データ パイプラインの一部として定期的に使用する必要がある場合は、Google Cloud Platform のネイティブ機能を活用して、より堅牢にすることができます。たとえば、次のような変更が可能です。
データ パイプラインからスクリプトを長時間実行される定期的なプロセスとして実行する
もう 1 つの一般的なアプローチは、ストリーミング データ パイプラインの一部として、アドレスのバッチを定期的なプロセスとして検証することです。アドレスが BigQuery データストアに保存されている場合もあります。このアプローチでは、定期的なデータ パイプライン（毎日、毎週、毎月トリガーする必要がある）を構築する方法について説明します。
このアーキテクチャには、次のメリットがあります。
- Cloud Scheduler を使用すると、アドレスの検証を定期的に行うことができます。アドレスの再検証を毎月行うか、新しいアドレスの検証を毎月または四半期ごとに行うことをおすすめします。このアーキテクチャは、このユースケースの解決に役立ちます。
顧客データが BigQuery にある場合、検証済みの住所または検証フラグをそこに直接キャッシュに保存できます。注: キャッシュに保存できるものと保存方法は、大量の住所検証に関する記事で詳しく説明しています。
Memorystore を使用すると、復元力が高まり、より多くのアドレスを処理できるようになります。この手順では、非常に大規模な住所データセットの処理に必要な状態が処理パイプライン全体に追加されます。Cloud SQL[https://cloud.google.com/sql] などの他のデータベース テクノロジーや、Google Cloud Platform が提供する他のデータベースのフレーバーも使用できます。ただし、Memorystore はスケーリングとシンプルさのニーズのバランスを完璧に取っているため、最初に選択する必要があります。
まとめ
ここで説明するパターンを適用することで、Google Cloud Platform のさまざまなユースケースで Address Validation API を使用できます。
上記のユースケースを始めるにあたって役立つオープンソースの Python ライブラリを作成しました。これは、パソコンのコマンドラインから呼び出すことも、Google Cloud Platform や他のクラウド プロバイダから呼び出すこともできます。
ライブラリの使用方法について詳しくは、こちらの記事をご覧ください。
次のステップ
確実な住所で購入手続き、配送、オペレーションを改善する ホワイトペーパーをダウンロードし、Address Validation で購入手続き、配送、オペレーションを改善する ウェビナーをご覧ください。
参考資料:
寄稿者
この記事は Google が管理しています。このコンテンツは、以下の投稿者が作成しました。
主な著者:
Henrik Valve | ソリューション エンジニア
Thomas Anglaret | ソリューション エンジニア
Sarthak Ganguly | ソリューション エンジニア
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2025-08-27 UTC。
[null,null,["最終更新日 2025-08-27 UTC。"],[[["\u003cp\u003eThis guide provides various design patterns for performing high volume address validation using Google Cloud Platform, integrating with existing processes and pipelines.\u003c/p\u003e\n"],["\u003cp\u003eYou can leverage Cloud Run, Compute Engine, or Google Kubernetes Engine for one-time address validation tasks, uploading data to Cloud Storage for processing.\u003c/p\u003e\n"],["\u003cp\u003eFor recurring data pipelines, use Cloud Storage, Dataflow, and BigQuery to efficiently process and validate large address datasets regularly.\u003c/p\u003e\n"],["\u003cp\u003eTo implement a long-lasting recurring address validation process, use Memorystore for persistent storage, Cloud Scheduler for periodic triggers, and BigQuery for caching results.\u003c/p\u003e\n"],["\u003cp\u003eThis approach allows for periodic revalidation of existing addresses and validation of new ones, offering higher resiliency and the ability to process large datasets.\u003c/p\u003e\n"]]],["This content outlines how to perform high-volume address validation on Google Cloud Platform. It details running validation scripts from Cloud Run, Compute Engine, or Kubernetes Engine for one-time tasks. For data pipelines, it suggests using Cloud Storage for CSV files, Dataflow for processing, and BigQuery for caching. Recurring processes leverage Cloud Storage, Memorystore, and BigQuery, scheduled by Cloud Scheduler. It highlights an open-source Python library for implementation and provides resources for further learning.\n"],null,["Objective\n\nThe [High Volume Address Validation](https://developers.google.com/maps/architecture/high-volume-address-validation) tutorial guided you through different scenarios where high volume address validation can be used. In this tutorial, we will introduce you to different design patterns within Google Cloud Platform for running High Volume Address Validation.\n\nWe will start with an overview on running High Volume Address Validation in Google Cloud Platform with Cloud Run, Compute Engine or Google Kubernetes Engine for one time executions. We will then see how this capability can be included as part of a data pipeline.\n\nBy the end of this article you should have a good understanding of the different options for running Address Validation in high volume in your Google Cloud environment.\n| **Try now:** Visit cloud console and enable the [Address Validation API](https://console.cloud.google.com/marketplace/product/google/addressvalidation.googleapis.com?utm_source=architecture_high_volume).\n\nReference architecture on Google Cloud Platform\n\nThis section dives deeper into different design patterns for High Volume Address Validation using [Google Cloud Platform](https://cloud.google.com/). By running on Google Cloud Platform, you can integrate with your existing processes and data pipelines.\n\nRunning High Volume Address Validation one time on Google Cloud Platform\n\nShown below is a reference architecture of how to build an integration\non Google Cloud Platform which is more suitable for one off operations or testing.\n\nIn this case, we recommend uploading the CSV file to a [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket. The High Volume Address Validation script can then be run from a [Cloud Run](https://cloud.google.com/run) environment.\nHowever you can execute it any other runtime environment like [Compute Engine](https://cloud.google.com/compute) or [Google Kubernetes Engine](https://cloud.google.com/kubernetes-engine).\nThe output CSV can also be uploaded to the [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket.\n\nRunning as a Google Cloud Platform data pipeline\n\nThe deployment pattern shown in the previous section is great for quickly testing High Volume Address Validation for one time usage.\nHowever if you need to use it regularly as part of a data pipeline, then you can better leverage Google Cloud Platform native capabilities to make it more robust. Some of the changes which you can make include:\n\n- In this case, you can dump CSV files in [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) buckets.\n- A [Dataflow](https://cloud.google.com/dataflow) job can pick up the addresses to be processed and then cache in [BigQuery](https://cloud.google.com/bigquery/docs/introduction).\n- The [Dataflow Python library](https://cloud.google.com/dataflow/docs/quickstarts/create-pipeline-python) can be be extended to have logic for High Volume Address Validation to validate the addresses from the Dataflow job.\n\nRunning the script from a data pipeline as a long lasting recurring process\n\nAnother common approach is to validate a batch of addresses as part of a streaming data pipeline as a recurring process.\nYou may also have the addresses in a bigquery datastore. In this approach we will see how to build out a recurring data pipeline (which needs to be triggered daily/weekly/monthly)\n\n- Upload the initial CSV file to a [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket.\n- Use [Memorystore](https://cloud.google.com/memorystore) as a persistent datastore to maintain intermediate state for the long running process.\n- Cache the final addresses in a [BigQuery](https://cloud.google.com/bigquery/docs/introduction) datastore.\n- Set up [Cloud Scheduler](https://cloud.google.com/scheduler) to run the script periodically.\n\nThis architecture has the following advantages:\n\n- Using [Cloud Scheduler](https://cloud.google.com/scheduler), address validation can be done periodically. You might want to revalidate the addresses on a monthly basis or validate any new addresses on a monthly/quarterly basis. This architecture helps solve that use case.\n- If customer data is in [BigQuery](https://cloud.google.com/bigquery/docs/introduction), then the validated addresses or the validation Flags can be cached directly there.\n Note: What can be cached and how is described in details in the [High Volume Address Validation article](https://developers.google.com/maps/architecture/high-volume-address-validation#caching_for_production_use)\n\n- Using [Memorystore](https://cloud.google.com/memorystore) provides higher resiliency and ability to process more addresses. This steps adds a statefulness to the whole processing pipeline which is needed for handling very large address datasets.\n Other database technologies like cloud SQL\\[https://cloud.google.com/sql\\] or any other [flavour of database](https://cloud.google.com/products/databases) which Google cloud Platform offers can be used here as well. However we believe memorystore perfectless balances the scaling and simplicity needs, thus should be the first choice.\n\nConclusion\n\nBy applying the patterns described here, you can use Address Validation API for different use cases and from different use cases on Google Cloud Platform.\n\nWe have written an open-source Python library to help you get started with the use cases described above. It can be invoked from a command line on your computer or it can be invoked from [Google Cloud Platform](https://cloud.google.com/) or other cloud providers.\n\nLearn more about how to use the library from this [article](https://developers.google.com/maps/architecture/high-volume-address-validation-library-oss).\n\nNext Steps\n\nDownload the [Improve checkout, delivery, and operations with reliable addresses](https://mapsplatform.withgoogle.com/address-validation-whitepaper/home.html?utm_source=architecture&utm_medium=website&utm_campaign=FY23-Q1-global-Maps-website-dl-GMP-AV-Whitepaper&utm_content=av_whitepaper)Whitepaper and view the [Improving checkout, delivery, and operations with Address Validation](https://mapsonair.withgoogle.com/events/improving-checkout-operations-with-address-validation-webinar?utm_source=architecture&utm_medium=website&utm_campaign=FY23-Q1-global-Maps-onlineevent-er-GMP-Improving-Ops-with-Address-Validation&utm_content=january_webinar)Webinar.\n\nSuggested further reading:\n\n- [Address Validation API Documentation](https://developers.google.com/maps/documentation/address-validation)\n- [Geocoding and Address Validation](https://developers.google.com/maps/architecture/geocoding-address-validation)\n- Explore the [Address Validation demo](https://developers.google.com/maps/documentation/address-validation/demo)\n\nContributors\n\nGoogle maintains this article. The following contributors originally wrote it. \n\nPrincipal authors:\n\n[Henrik Valve](https://www.linkedin.com/in/henrikvalve/) \\| Solutions Engineer \n\n[Thomas Anglaret](https://www.linkedin.com/in/thomas-anglaret/) \\| Solutions Engineer \n\n[Sarthak Ganguly](https://www.linkedin.com/in/sarthakganguly/) \\| Solutions Engineer"]]
