本文档介绍了对 Google Maps Platform 地点自动补全 API 和地址验证 API 执行 A/B 测试时要考虑的技巧。
使用地点自动补全 API 和地址验证 API 有以下几个好处:
- 改善客户体验:通过实时为客户提供关于地址和地点的建议,您可以帮助他们更快速、更轻松地完成结账。这样可以带来更好的客户体验。
- 提高数据准确性:地点自动补全和地址验证 API 可帮助您提高客户数据的准确性。这在电子商务中尤为重要,因为准确的地址数据是成功递送包裹的依据。
若要改善地址质量,可以运行 A/B 测试,评估哪种验证解决方案最能满足您的需求。这样,您就有机会从定量角度确定最适合您的应用场景的产品。
A/B 测试是一种将网页或应用的两个版本进行相互比较的方式。这是一种对照实验,用于确定改变变量对可衡量结果的影响。
若要执行 A/B 测试,请为网页或应用创建两个版本,一个作为对照组,另一个作为可衡量的变化。然后向不同的用户展示这些版本,并衡量他们与这些版本的互动情况。效果更好的版本胜出。
系统架构概览
我们来看一个电子商务用例中的 A/B 测试地址验证。下面的架构图展示了客户如何与商务体验进行互动,让您可以确定更有效的验证策略。
[系统上下文] A/B Testing 地址验证
对 Address Validation API 的值进行 A/B 测试时所涉及的系统。
A/B 测试流程
考虑整个 A/B 测试流程时,需要考虑四个阶段。
- 准备 - 确定测试要求、范围和时间表。
- 构建 - 在运行测试的环境中实现地点自动补全和地址验证 API。
- 运行 - 在测试运行期间收集指标,直至获得显著结果或时间结束。
- 分析 - 将结果与假设进行比较,并确定后续步骤。
下面我们将逐一介绍这三项功能。
准备时间
确定 A/B 测试要求
初始发现
请思考以下问题:您为什么要添加或更改地址验证服务提供商?例如,使用 Google 地图地点自动补全功能:
- 节省时间:您无需输入地点的整个名称,只需开始输入,系统就会显示相关建议。
- 减少错误:如果您拼错地点名称,Google 地图地点自动补全功能仍会建议正确的地点。
进行验证有很多好处,包括:
- 提高递送率:地址验证功能可确保将邮件和包裹寄送到正确的地址,从而帮助您提高递送率。这可以为企业节省时间和金钱,并提高客户满意度。
- 提高数据质量:地址验证可通过识别和更正地址中的错误,帮助提高数据质量。这可以提高营销活动和其他以数据为依据的计划的准确性。
确定假设
确定要测试的假设。以下是两个示例:
1. 转化率
当您添加提前类型的解决方案时,通常转化率会略有提高,这是一个很好的跟踪指标。如果您要从其他提供商更改您的类型超前解决方案,那么转化率应该会持平。如果转化率下降,应首先检查的就是广告植入方式。
转化率很重要,但可能无法反映整体情况。添加地址验证解决方案旨在防止用户在入口处提交质量不佳的地址,并且在某些情况下可能会给信息获取增加一些自然障碍。这可能会导致总体转化率下降,但这并不一定是坏事。因添加地址验证而未完成的订单可能与质量不佳的地址数据相关联,进而导致商家因配送退款而增加成本。
2. 劣质地址数量减少
这才是好的地址验证解决方案真正的亮点。通过实现地址验证,您应该会看到质量不佳的地址数据有所减少。
如果您要将新解决方案与现有解决方案进行比较,可能会很想只比较“良好地址”的匹配率,然后选择匹配率更高的服务。这一结果可能具有误导性,因为一项服务提供的误报可能比另一项服务多。
相反,更具影响力的指标是比较使用地址数据的成功结果。以电子商务为例,获取地址的预期结果是最终成功配送包裹。
构建
现在,该到了激动人心的部分!是时候为您的客户构建新的解决方案了。我们已经有一份便捷指南,介绍了如何在电子商务结账流程中实现地点自动补全和 Address Validation API。我们建议您在完成此步骤时查看相关内容。
即使您不是专门针对电子商务构建的,很多信息仍然具有相关性,尤其是关于根据 Address Validation API 的输出确定地址质量的指南。
架构图
下例显示了可用于在电子商务环境中构建 A/B 测试的容器:
[执行环境] A/B 测试地址验证
关键系统中的重要应用、服务和数据存储,为架构提供支持。(点击可放大)。
验证实现
如果解决方案实施不当,将会产生不可靠的测试结果。在运行 A/B 测试之前,必须先通过一个小用户群组验证解决方案,以确保其按预期运行。测试对象可以是内部 QA 测试人员和/或一组选定外部测试人员,您信任他们并提供建设性反馈。
运行
缓慢增加
即使解决方案通过验证,也最好从少量用户开始,逐步扩大测试规模。这样,系统可以尽早发现错误或其他问题并迅速予以解决,而不会对很大比例的用户造成影响。
完整测试
待一小部分用户对相应解决方案进行测试且所有问题都得到解决后,我们就可以进行全面 A/B 测试了。此比例不一定必须是真正的流量分配比例,而是 50/50,但其规模应该与随机选择的一组实时使用情况相当。
捕获指标
在测试过程中,您应确保捕获到能够支持您的假设的适当数据。在此过程中,您可以使用 A/B 测试平台来简化数据收集和后续分析。Google Maps Platform 还会收集可能会用到的 API 用量指标,您可以查看此页面详细了解如何使用我们的报告工具。
一些建议的指标如下:
地点自动补全
转化率:表单的转化率/完成率是否因之前不提供自动补全解决方案而有所提高?
工具互动:与之前的解决方案相比,是否有更多用户能够成功与地点自动补全功能互动?
Address Validation
递送成功:递送失败是否因地址质量而有所减少?
地址变更:您向快递公司收取的地址变更费用数量是否有所减少?
住宅与商业:住宅和商业数据在获取方面是否有改进?(仅限部分市场)
分析
现在测试结束,是时候根据原来的测试标准和假设分析结果了。如果您是通过 A/B 测试平台来完成此流程的,那么或许已经可以提供了一些信息。
返回上文中的“减少质量不佳的地址”部分,您也可以使用 A/B 测试平台可能未捕获到的其他指标。这可以是不同测试场景之间的递送失败率,示例数据如下:
解决方案 A | 解决方案 B | |
---|---|---|
提交失败 | 1.75% | 1.23% |
查看上面的基本示例,显然对于此用例,解决方案 B 是更好的选择。
总结
希望本指南能为您提供足够的信息,帮助您开始 A/B 测试之旅!虽然它使用了电子商务领域的示例,但同样的基本原则可以广泛应用。在企业中确定拥有高质量地址数据的成功结果,并将其作为主要假设进行跟踪。
我们在下面再次列出了本指南中提到的链接,建议您进一步阅读。
祝您测试顺利!
后续步骤
下载利用可靠地址改善结账、配送和运营 白皮书,并查看利用地址验证改进结账、配送和运营 在线讲座。
建议深入阅读:
贡献者
主要作者:
Henrik Valve | Google Maps Platform 解决方案工程师