이 문서에서는 Google Maps Platform 장소 자동 완성 및 주소 유효성 검사 API의 A/B 테스트를 실행할 때 고려해야 할 기법을 설명합니다.
Place Autocomplete 및 Address Validation API를 사용할 때의 이점은 다음과 같습니다.
- 고객 경험 개선: 고객에게 주소 및 장소에 대한 실시간 추천을 제공하여 고객이 더 쉽고 빠르게 결제를 완료할 수 있도록 지원할 수 있습니다. 이를 통해 고객 경험을 개선할 수 있습니다.
- 데이터 정확도 향상: 장소 자동 완성 및 Address Validation API를 사용하면 고객 데이터의 정확성을 개선할 수 있습니다. 이는 정확한 주소 데이터가 상품을 성공적으로 배송하는 데 사용되므로 특히 전자상거래에서 중요할 수 있습니다.
주소 품질을 개선하려면 A/B 테스트를 실행하여 요구사항에 가장 적합한 유효성 검사 솔루션을 평가하세요. 이를 통해 사용 사례에 가장 적합한 제품을 정량적으로 결정할 수 있습니다.
A/B 테스트는 웹페이지 또는 앱의 두 버전을 서로 비교하는 방법입니다. 대안 실험은 측정 가능한 결과에 변수 변경사항이 미치는 영향을 확인하는 데 사용되는 통제 실험의 한 유형입니다.
A/B 테스트를 실행하려면 두 가지 버전의 페이지 또는 앱을 만듭니다. 하나는 대조군으로, 다른 하나는 측정 가능한 변경사항이 포함된 버전입니다. 그런 다음 이러한 버전을 다양한 사용자에게 표시하고 사용자가 상호작용하는 방식을 측정합니다. 실적이 더 우수한 버전이 낙찰됩니다.
시스템 아키텍처 개요
전자상거래 사용 사례에서 주소 유효성 검사를 A/B 테스트하는 방법을 살펴보겠습니다. 아래의 아키텍처 다이어그램은 고객이 상거래 환경과 상호작용하는 방식을 보여줍니다. 이를 통해 더 효과적인 유효성 검사 전략을 결정할 수 있습니다.
[시스템 컨텍스트] A/B 테스트 주소 확인
Address Validation API의 값에 대한 A/B 테스트를 진행할 때 사용되는 시스템입니다.
A/B 테스트 프로세스
전체 A/B 테스트 프로세스를 고려할 때 고려해야 할 네 가지 단계가 있습니다.
- 준비 - 테스트 요구사항, 범위 및 기간을 파악합니다.
- 빌드 - 테스트를 실행할 환경에 Place Autocomplete 및 Address Validation API를 구현합니다.
- 실행 - 테스트가 진행되는 동안 유의미한 결과를 얻거나 기한이 만료될 때까지 측정항목을 수집합니다.
- 분석 - 결과를 가설과 비교하고 다음 단계를 파악합니다.
각각에 관해 차례대로 살펴보겠습니다.
준비
A/B 테스트 요구사항 결정
초기 발견
주소 확인 제공업체를 추가하거나 변경하는 이유는 무엇인가요? 예를 들어 Google Maps Place Autocomplete를 사용하는 방법은 다음과 같습니다.
- 시간 절약: 장소의 이름을 전부 입력할 필요 없이, 입력하기만 하면 추천 검색어가 표시됩니다.
- 오류 감소: 장소 이름을 잘못 입력해도 Google 지도 장소 자동 완성 기능이 올바른 장소를 제안합니다.
검증을 진행하면 다음과 같은 여러 이점이 있습니다.
- 배송율 개선: 주소 확인을 사용하면 우편물과 택배가 올바른 주소로 발송되도록 하여 배송률을 개선할 수 있습니다. 이를 통해 비즈니스의 시간과 비용을 절약하고 고객 만족도를 개선할 수 있습니다.
- 데이터 품질 개선: 주소 확인 기능을 사용하면 주소의 오류를 식별하고 수정하여 데이터 품질을 개선할 수 있습니다. 이를 통해 마케팅 캠페인 및 기타 데이터 기반 이니셔티브의 정확성을 개선할 수 있습니다.
가설 결정
테스트할 가설을 결정합니다. 다음은 두 가지 예입니다.
1. 전환율
유형 사전 솔루션을 추가하면 일반적으로 전환율이 약간 증가하므로 이는 추적하기 좋은 측정항목입니다. 다른 제공업체의 자동 완성 솔루션을 변경하는 경우 전환율이 일정할 것으로 예상됩니다. 전환율이 감소하면 가장 먼저 구현을 확인해야 합니다.
전환율은 중요하지만 전체 상황을 보여주지 않을 수도 있습니다. 주소 확인 솔루션을 추가하면 사용자가 진입 시점에 품질이 낮은 주소를 제출하는 것을 방지할 수 있으며, 일부 시나리오에서는 캡처를 처리하는 데 자연스러운 문제가 발생할 수 있습니다. 이로 인해 전반적인 전환율이 하락할 수 있지만 반드시 나쁜 것으로 간주해서는 안 됩니다. 주소 확인을 추가하여 완료되지 않은 주문은 품질이 좋지 않은 주소 데이터와 관련이 있을 수 있으며, 이로 인해 배송 지불 거절을 통해 비즈니스에 비용이 발생했을 수 있습니다.
2. 품질이 떨어지는 주소 감소
이때 유용한 주소 검증 솔루션이 큰 도움이 됩니다. 주소 유효성 검사를 구현하면 품질이 낮은 주소 데이터가 줄어들 것으로 예상됩니다.
새 솔루션을 기존 솔루션과 비교하는 경우 '올바른 주소' 일치율만 비교하고 일치율이 더 높은 서비스를 선택하는 것이 좋습니다. 이는 한 서비스가 다른 서비스보다 더 많은 거짓양성을 제공할 수 있으므로 혼동을 줄 수 있습니다.
대신 주소 데이터 사용의 성공적인 결과를 비교하는 것이 더 효과적인 측정항목입니다. 전자상거래를 예로 들면 주소를 캡처하여 원하는 결과는 결국 제품을 성공적으로 배송하는 것입니다.
빌드
이제 흥미로운 부분입니다. 이제 고객을 위한 새로운 솔루션을 구축할 때입니다. 전자상거래 결제에 Place Autocomplete 및 Address Validation API를 구현하는 방법에 대한 간단한 가이드가 이미 마련되어 있습니다. 이 단계를 완료하면서 이를 확인하는 것이 좋습니다.
전자상거래용으로 구현하지 않더라도 많은 정보가 여전히 관련이 있습니다. 특히 Address Validation API의 출력에서 주소 품질을 결정하는 방법에 관한 안내가 그렇습니다.
아키텍처 다이어그램
전자상거래 환경에서 A/B 테스트를 빌드하는 데 사용할 수 있는 컨테이너의 예는 다음과 같습니다.
[실행 환경] A/B 테스팅 주소 검증
아키텍처를 지원하는 핵심 시스템의 중요한 애플리케이션, 서비스, 데이터 저장소입니다. 확대).
구현 확인
솔루션이 제대로 구현되지 않으면 신뢰할 수 없는 테스트 결과가 나옵니다. A/B 테스트를 실행하기 전에 먼저 소수의 사용자 그룹을 대상으로 솔루션이 예상대로 작동하는지 확인하는 것이 중요합니다. 내부 품질보증 테스터 또는 건설적인 의견을 제공할 수 있는 신뢰할 수 있는 외부 테스터로 구성된 그룹이 포함될 수 있습니다.
실행
천천히 늘리기
솔루션이 검증되었다고 해도 소규모 사용자 그룹으로 시작하여 테스트를 천천히 확대하는 것이 좋습니다. 이렇게 하면 버그나 기타 문제가 많은 사용자에게 영향을 미치지 않고 조기에 발견되어 신속하게 해결할 수 있습니다.
전체 테스트
소수의 사용자를 대상으로 솔루션을 테스트하고 문제가 해결되면 전체 A/B 테스트로 확대할 수 있습니다. 반드시 트래픽을 50/50으로 분할할 필요는 없지만 무작위로 선택한 실시간 사용량과 크기가 비슷해야 합니다.
측정항목 캡처
테스트 중에 가설을 뒷받침하는 적절한 데이터가 캡처되는지 확인해야 합니다. 이 과정에서 A/B 테스트 플랫폼을 사용하여 데이터 수집 및 후속 분석을 간소화할 수 있습니다. 또한 Google Maps Platform에서는 사용될 수 있는 API 사용량 측정항목도 수집합니다. 보고서 도구 사용에 대해 자세히 알아보려면 이 페이지를 확인하세요.
다음은 몇 가지 추천 측정항목입니다.
Place Autocomplete
전환율: 이전에 자동 완성 솔루션이 없던 것보다 양식의 전환/완료율이 개선되었나요?
도구 상호작용: 이전 솔루션에 비해 더 많은 사용자가 Place Autocomplete와 성공적으로 상호작용하나요?
Address Validation
배송 성공: 주소 품질로 인한 배송 실패가 감소했나요?
주소 변경: 배송업체로부터 받은 주소 변경 수수료가 감소했나요?
주거용 데이터와 상업용 데이터 비교: 주거용 데이터와 상업용 데이터 캡처 방식이 개선되었나요? (일부 시장만 해당)
분석
이제 테스트가 종료되었으므로 원래 테스트 기준 및 가설에 따라 결과를 분석할 차례입니다. A/B 테스트 플랫폼을 사용하여 프로세스를 완료한 경우 일부 정보는 이미 확인할 수 있습니다.
위의 품질이 낮은 주소 감소 섹션으로 돌아가면 A/B 테스트 플랫폼에서 포착하지 못한 다른 측정항목을 사용할 수도 있습니다. 테스트 시나리오 간의 전송 실패율로, 다음과 같은 예시 데이터가 사용될 수 있습니다.
| 솔루션 A | 해결 방법 B | |
|---|---|---|
| 전송 실패 | 1.75% | 1.23% |
위의 기본 예시를 보면 이 사용 사례에는 솔루션 B가 더 나은 선택임을 알 수 있습니다.
결론
이 가이드가 A/B 테스트 여정을 시작하는 데 충분한 정보를 제공해 주었기를 바랍니다. 이 문서에서는 전자상거래 공간의 예시를 사용했지만 동일한 기본 원칙을 전반적으로 적용할 수 있습니다. 비즈니스에서 양질의 주소 데이터를 확보했을 때의 성공적인 결과를 정확히 찾아내고 이를 주요 가설로 추적합니다.
추가 읽기로 추천된 대로 가이드에 언급된 링크를 아래에 다시 포함했습니다.
즐거운 테스트가 되기를 바랍니다.
다음 단계
안정적인 주소로 결제, 배송, 운영 개선 백서를 다운로드하고 주소 확인으로 결제, 배송, 운영 개선 웨비나를 시청하세요.
추가 자료:
참여자
수석 저자:
헨릭 발브 | Google Maps Platform 솔루션 엔지니어