이 문서에서는 Google Maps Platform Place Autocomplete 및 Address Validation API의 A/B 테스트를 실행할 때 고려해야 할 기법을 설명합니다.
Place Autocomplete 및 Address Validation API를 사용하면 다음과 같은 이점이 있습니다.
- 고객 경험 개선: 고객에게 주소 및 장소에 대한 실시간 추천을 제공하면 고객이 더 빠르고 쉽게 결제를 완료할 수 있습니다. 이를 통해 고객 경험을 개선할 수 있습니다.
- 데이터 정확성 개선: Place Autocomplete 및 Address Validation API를 사용하면 고객 데이터의 정확성을 개선할 수 있습니다. 이는 전자상거래에서 특히 중요할 수 있습니다. 정확한 주소 데이터가 있어야 상품을 성공적으로 배송할 수 있기 때문입니다.
주소 품질을 개선하려면 A/B 테스트를 실행하여 어떤 확인 솔루션이 니즈에 가장 적합한지 평가하세요. 이를 통해 사용 사례에 가장 적합한 제품을 정량적으로 결정할 수 있습니다.
A/B 테스트는 두 버전의 웹페이지 또는 앱을 서로 비교하는 방법입니다. 이는 변수 변경이 측정 가능한 결과에 미치는 영향을 판단하는 데 사용되는 통제 실험의 한 유형입니다.
A/B 테스트를 수행하려면 페이지 또는 앱의 두 가지 버전을 만듭니다. 하나는 대조군이고 다른 하나는 측정 가능한 변경사항이 있는 버전입니다. 그런 다음 이러한 버전을 다양한 사용자에게 표시하고 사용자가 버전과 상호작용하는 방식을 측정합니다. 실적이 더 좋은 버전이 승자가 됩니다.
시스템 아키텍처 개요
전자상거래 사용 사례에서 Address Validation을 A/B 테스트하는 방법을 살펴보겠습니다. 아래 아키텍처 다이어그램은 고객이 상거래 환경과 상호작용하는 방식을 보여주며, 이를 통해 더 효과적인 검증 전략을 결정할 수 있습니다.
[시스템 컨텍스트] 주소 확인 A/B 테스트
Address Validation API의 가치를 A/B 테스트할 때 관련된 시스템
A/B 테스트 프로세스
전반적인 A/B 테스트 프로세스를 고려할 때 고려해야 할 네 가지 단계가 있습니다.
- 준비 - 테스트 요구사항, 범위, 기간을 파악합니다.
- 빌드 - 테스트를 실행할 환경에서 Place Autocomplete 및 Address Validation API를 구현합니다.
- 실행 - 테스트가 실행되는 동안 유의미한 결과를 얻거나 시간이 만료될 때까지 측정항목을 수집합니다.
- 분석 - 결과를 가설과 비교하고 다음 단계를 식별합니다.
각각에 대해 차례로 살펴보겠습니다.
준비
A/B 테스트 요구사항 결정
초기 탐색
스스로에게 질문해 보세요. 주소 확인 제공업체를 추가하거나 변경하는 이유는 무엇인가요? 예를 들어 Google 지도 Place Autocomplete를 사용하는 경우:
- 시간 절약: 장소 이름을 입력하기 시작하면 추천이 표시되므로 전체 이름을 입력하지 않아도 됩니다.
- 오류 감소: 장소 이름을 잘못 입력해도 Google 지도 Place Autocomplete에서 올바른 장소를 추천합니다.
주소 확인에는 다음과 같은 여러 이점이 있습니다.
- 배송률 개선: Address Validation은 우편물과 소포가 올바른 주소로 전송되도록 하여 배송률을 개선하는 데 도움이 될 수 있습니다. 이를 통해 비즈니스는 시간과 비용을 절약하고 고객 만족도를 높일 수 있습니다.
- 데이터 품질 개선: 주소 확인은 주소의 오류를 식별하고 수정하여 데이터 품질을 개선하는 데 도움이 될 수 있습니다. 이를 통해 마케팅 캠페인 및 기타 데이터 기반 이니셔티브의 정확성을 높일 수 있습니다.
가설 결정
테스트할 가설을 결정합니다. 다음은 두 가지 예시입니다.
1. 전환율
미리 입력 솔루션을 추가하면 일반적으로 전환율이 약간 증가하며, 이는 추적하기에 좋은 측정항목입니다. 다른 제공업체에서 자동 완성 솔루션을 변경하는 경우 전환율이 일정할 것으로 예상됩니다. 전환율이 감소하면 먼저 구현을 확인해야 합니다.
전환율은 중요하지만 전체 상황을 보여주지는 못할 수 있습니다. 주소 확인 솔루션을 추가하면 사용자가 입력 시점에 품질이 낮은 주소를 제출하지 못하도록 방지할 수 있으며, 일부 시나리오에서는 주소 캡처에 자연스러운 마찰이 발생할 수 있습니다. 이로 인해 전체 전환율이 떨어질 수 있지만, 반드시 나쁜 것으로 볼 필요는 없습니다. 주소 확인 추가로 인해 완료되지 않은 주문은 품질이 낮은 주소 데이터와 관련이 있을 수 있으며, 이로 인해 배송 지불 거절을 통해 비즈니스에 비용이 발생할 수 있습니다.
2. 품질이 낮은 주소 감소율
이때 우수한 주소 확인 솔루션이 진가를 발휘할 수 있습니다. Address Validation을 구현하면 품질이 낮은 주소 데이터가 줄어들 것으로 예상됩니다.
새로운 솔루션을 기존 솔루션과 비교할 때 '정확한 주소' 일치율만 비교하고 일치율이 더 높은 서비스를 선택하고 싶을 수 있습니다. 한 서비스가 다른 서비스보다 더 많은 거짓양성을 제공할 수 있으므로 오해의 소지가 있습니다.
대신 주소 데이터를 사용한 성공적인 결과를 비교하는 것이 더 효과적인 측정항목입니다. 전자상거래를 예로 들면, 주소 캡처의 원하는 결과는 최종적으로 패키지를 성공적으로 배송하는 것입니다.
빌드
이제 흥미로운 부분입니다. 고객을 위한 새로운 솔루션을 구축할 때입니다. 전자상거래 결제에 Place Autocomplete 및 Address Validation API를 구현하는 방법에 관한 유용한 가이드가 이미 마련되어 있습니다. 이 단계를 완료하는 동안 이 내용을 확인하는 것이 좋습니다.
전자상거래를 위해 특별히 빌드하지 않더라도 많은 정보가 여전히 관련이 있으며, 특히 Address Validation API의 출력에서 주소 품질을 결정하는 방법에 관한 안내가 유용합니다.
아키텍처 다이어그램
다음은 전자상거래 환경에서 A/B 테스트를 빌드하는 데 사용할 수 있는 컨테이너의 예입니다.
[실행 환경] Address Validation A/B 테스트
아키텍처를 구동하는 주요 시스템의 중요한 애플리케이션, 서비스, 데이터 스토어입니다. 확대).
구현 확인
솔루션이 제대로 구현되지 않으면 신뢰할 수 없는 테스트 결과가 생성됩니다. A/B 테스트를 실행하기 전에 먼저 소규모 사용자 그룹을 대상으로 솔루션을 검증하여 예상대로 작동하는지 확인하는 것이 중요합니다. 내부 품질 보증 테스터 또는 건설적인 의견을 제공할 것으로 신뢰할 수 있는 외부 테스터 그룹이 될 수 있습니다.
실행
천천히 늘리기
솔루션이 검증되었더라도 소규모 사용자 그룹으로 시작하여 테스트를 천천히 확대하는 것이 좋습니다. 이렇게 하면 버그나 기타 문제를 조기에 발견하고 대다수의 사용자에게 영향을 미치지 않고 신속하게 해결할 수 있습니다.
전체 테스트
소규모 사용자 그룹에서 솔루션을 테스트하고 문제를 해결한 후에는 전체 A/B 테스트로 확대할 수 있습니다. 트래픽을 정확히 50/50으로 분할할 필요는 없지만 무작위로 선택된 실제 사용량과 크기가 비슷해야 합니다.
측정항목 캡처
테스트 중에 가설을 뒷받침하는 적절한 데이터가 수집되는지 확인해야 합니다. 이 과정에서 A/B 테스팅 플랫폼을 사용하면 데이터 수집과 이후 분석을 더 쉽게 진행할 수 있습니다. Google Maps Platform은 유용할 수 있는 API 사용량 측정항목도 수집합니다. Google의 보고 도구 사용에 대해 자세히 알아보려면 이 페이지를 확인하세요.
권장되는 측정항목은 다음과 같습니다.
Place Autocomplete
전환율: 이전에 자동 완성 솔루션이 없었을 때보다 양식의 전환/완료율이 개선되었나요?
도구 상호작용: 이전 솔루션에 비해 더 많은 사용자가 Place Autocomplete와 성공적으로 상호작용하고 있나요?
Address Validation
배송 성공: 주소 품질로 인해 배송 실패가 감소했나요?
주소 변경: 배송업체로부터 받은 주소 변경 수수료가 감소했나요?
주거용과 상업용: 주거용과 상업용 데이터를 캡처하는 기능이 개선되었나요? (일부 시장만 해당)
분석
이제 테스트가 끝났으므로 원래 테스트 기준과 가설에 따라 결과를 분석할 차례입니다. A/B 테스트 플랫폼을 사용하여 프로세스를 완료한 경우 일부 정보는 이미 사용 가능할 수 있습니다.
위의 품질이 낮은 주소 감소 섹션으로 돌아가면 A/B 테스팅 플랫폼에서 캡처하지 못한 다른 측정항목을 사용할 수도 있습니다. 이는 테스트 시나리오 간의 전송 실패율일 수 있으며, 다음과 같은 예시 데이터가 있습니다.
| 솔루션 A | 해결 방법 B | |
|---|---|---|
| 전송 실패 | 1.75% | 1.23% |
위의 기본 예시를 보면 이 사용 사례에는 솔루션 B가 더 나은 선택이라는 것을 알 수 있습니다.
결론
이 가이드가 A/B 테스트 여정을 시작하는 데 충분한 정보를 제공했기를 바랍니다. 이 가이드에서는 이커머스 분야의 예를 사용했지만 동일한 기본 원칙을 전반적으로 적용할 수 있습니다. 비즈니스에서 양질의 주소 데이터를 보유함으로써 얻을 수 있는 성공적인 결과를 정확히 파악하고 이를 주요 가설로 추적합니다.
가이드에 언급된 링크를 아래에 다시 포함했습니다. 추가로 읽어보시기 바랍니다.
즐거운 테스트가 되기를 바랍니다.
다음 단계
신뢰할 수 있는 주소로 결제, 배송, 운영 개선 백서를 다운로드하고 Address Validation으로 결제, 배송, 운영 개선 웹 세미나를 시청하세요.
추천 추가 자료:
- 전자상거래 결제를 위한 Address Validation
- Place Autocomplete 문서
- Address Validation API 문서
- Google Maps Platform 보고
참여자
주요 작성자:
헨릭 발브 | Google Maps Platform 솔루션 엔지니어