使用 A/B 測試評估地址驗證的影響

本文說明對 Google 地圖平台 Place AutocompleteAddress Validation API 進行 A/B 測試時,可考慮採用的技術。

使用 Place Autocomplete 和 Address Validation API 的好處如下:

  • 提升顧客體驗:為顧客提供地址和地點的即時建議,協助他們更快速輕鬆地完成結帳。進而提供更優質的顧客體驗。
  • 提升資料準確度:Place Autocomplete 和 Address Validation API 可協助您提升顧客資料的準確度。這在電子商務中尤其重要,因為包裹能否順利送達,取決於地址資料是否正確。

如要提升地址品質,請執行 A/B 版本測試,評估哪種驗證解決方案最符合需求。您可藉此根據量化結果,決定哪項產品最適合您的用途。

A/B 測試可用來比較網頁或應用程式的兩種版本,這是一種對照實驗,用於判斷變數變更對可評估結果的影響。
如要執行 A/B 測試,請建立兩個版本的網頁或應用程式,一個做為控制組,另一個則包含可評估的變更。接著向不同使用者顯示這些版本,並評估他們的互動情形。成效較佳的版本就是勝出者。

系統架構總覽

我們以電子商務用途為例,說明如何進行地址驗證的 A/B 測試。下方的架構圖顯示顧客與商務體驗的互動方式,可協助您判斷更有效的驗證策略。

[System Context] A/B Testing Address Validation

對 Address Validation API 的值進行 A/B 測試時,會涉及的系統。

架構圖顯示電子商務網站的顧客與 A/B 測試系統互動。這個系統會從電子商務商店軟體系統中,決定要向消費者顯示哪個測試變數。電子商務商店會對 Google 地圖平台軟體系統發出 API 呼叫。此外,這項服務也會收集 A/B 測試分析資料,並交由分析軟體系統處理,然後回報給 A/B 測試系統。

A/B 測試流程

在思考整體 A/B 測試程序時,請考慮以下四個階段。

  • 準備 - 找出測試規定、範圍和時間表。
  • 建構:在環境中導入 Place Autocomplete 和 Address Validation API,以便執行測試。
  • 執行:在測試執行期間收集指標,直到獲得顯著結果或時間到期為止。
  • 分析 - 將結果與假設進行比較,並判斷後續步驟。

我們會逐一說明這些概念。

事前準備

決定 A/B 測試需求

初步探索

請自問:為什麼要新增或變更地址驗證服務供應商?舉例來說,使用 Google 地圖 Place Autocomplete:

  • 節省時間:只要開始輸入地點名稱,系統就會顯示建議,不必完整輸入。
  • 減少錯誤:即使地名拼錯,Google 地圖 Place Autocomplete 仍會建議正確的地點。

地址驗證功能有許多優點,包括:

  • 提高送達率:地址驗證可確保郵件和包裹送達正確地址,進而提高送達率。為企業節省時間與費用,並提升顧客滿意度。
  • 提升資料品質:地址驗證功能可找出並修正地址錯誤,進而提升資料品質。這有助於提升行銷廣告活動和其他以資料為準的計畫準確度。

決定假設

決定要測試的假設。請看以下兩個範例:

1. 轉換率

新增自動完成解決方案後,轉換率通常會略有提升,因此建議您追蹤這項指標。如果您要將自動完成解決方案從其他供應商改為 Google,轉換率預計會持平。如果轉換率下降,請先檢查導入方式。

轉換率很重要,但可能無法說明全貌。新增地址驗證解決方案的目的,是為了在使用者輸入地址時,防止他們提交品質不佳的地址,並可能在某些情況下,為地址擷取作業增加一些自然摩擦。這可能會導致整體轉換率下降,但這不一定代表情況不佳。由於新增地址驗證功能,導致訂單未完成,可能是因為地址資料品質不佳,導致商家因運費退款而產生費用。

2. 減少品質不佳的地址

這時,優質的地址驗證解決方案就能派上用場。導入地址驗證功能後,您應該會發現地址資料品質不佳的情況減少了。

如果您要比較新舊解決方案,可能會只想比較「有效地址」的相符率,然後選取相符率較高的服務。這可能會造成誤導,因為其中一項服務提供的偽陽性結果可能多於另一項服務。

相較之下,比較使用地址資料後獲得的成功結果,才是更有影響力的指標。以電子商務為例,擷取地址的預期結果是最終成功遞送包裹。

建構

現在來到令人興奮的部分!現在正是為客戶打造新解決方案的好時機。我們已提供實用指南,說明如何在電子商務結帳頁面導入 Place AutocompleteAddress Validation API。建議您在完成這個步驟時查看這篇文章。

即使您並非專為電子商務建構應用程式,許多資訊仍適用於您的情況,尤其是如何根據 Address Validation API 的輸出內容判斷地址品質的指引。

架構圖

以下是在電子商務環境中,可用於建構 A/B 測試的容器範例:

[執行環境] A/B 測試地址驗證

架構中重要系統的重要應用程式、服務和資料儲存庫。(按一下可放大)。

架構圖顯示構成 A/B 測試軟體系統和電子商務應用程式軟體系統的容器。圖中顯示電子商務網站的顧客與負載平衡器互動,負載平衡器會將顧客導向電子商務網站應用程式。A/B 測試管理工具會與負載平衡器通訊,選取要向顧客顯示的 A/B 測試變數。這個 A/B 測試系統也會在您選擇的資料庫中記錄 A/B 測試的結果和設定。電子商務 Web 應用程式會對 Google 地圖平台軟體系統發出 API 呼叫,並向 Analytics 軟體系統回報 Analytics 事件,後者會將測試事件記錄到 A/B 測試結果資料庫。

驗證導入狀態

如果解決方案實作不當,測試結果就不可靠。執行 A/B 測試前,請先對一小群使用者驗證解決方案,確保解決方案能正常運作。可以是內部 QA 測試人員,也可以是您信任的外部測試人員群組,請他們提供建設性意見。

執行

逐步提高傳送量

即使解決方案已通過驗證,仍建議您先針對一小群使用者進行測試,再逐步擴大測試範圍。這樣一來,就能及早發現並快速解決錯誤或其他問題,不會影響大量使用者。

完整測試

一小群使用者測試完解決方案並解決所有問題後,我們就能全面進行 A/B 測試。這不一定需要是 50/50 的流量分配,但應與隨機選取的一組實際用量大小相當。

擷取指標

測試期間,請務必擷取適當的資料來驗證假設。您可以在這個過程中,使用 A/B 測試平台簡化資料收集和後續分析作業。Google 地圖平台也會收集 API 用量指標,這些指標可能對您有幫助。如要進一步瞭解如何使用我們的報表工具,請參閱這個頁面

建議使用的指標如下:

Place Autocomplete

轉換率:與先前沒有自動完成解決方案相比,表單的轉換/完成率是否有所提升?
工具互動:與先前的解決方案相比,是否有更多使用者成功與 Place Autocomplete 互動?

Address Validation

送達成功率:地址品質是否導致送達失敗次數減少?
地址變更:你收到的快遞公司地址變更費用是否減少?
住宅與商業:擷取住宅與商業資料的準確度是否有所提升?(僅適用於特定市場)

分析

測試結束後,請根據原始測試條件和假設分析結果。如果您使用 A/B 測試平台完成這項程序,可能已經取得部分資訊。

回到上方的「減少低品質地址」一節,您也可以使用 A/B 測試平台可能未擷取的其他指標。這可能是測試情境之間的遞送失敗率,例如:

解決方案 A 解決方案 B
配送失敗 1.75% 1.23%

從上述基本範例來看,顯然解決方案 B 是這個用途的較佳選擇。

結論

希望這份指南提供的資訊足夠,能協助您展開 A/B 測試之旅!雖然本文以電子商務領域為例,但基本原則適用於所有產業。找出商家中地址資料品質良好的成功結果,並將其視為主要假設。

我們在下方再次附上指南中提及的連結,供您進一步閱讀。

預祝測試愉快!

後續步驟

下載「提供可靠的地址,改善結帳、送貨和營運流程 」白皮書,並觀看「提供可靠的地址,改善結帳、送貨和營運流程 」網路研討會。

建議閱讀:

貢獻者

主要作者:

Henrik Valve | Google 地圖平台解決方案工程師