Mierzenie wpływu weryfikacji adresu za pomocą testu A/B

W tym dokumencie opisujemy techniki, które warto wziąć pod uwagę podczas przeprowadzania testu A/B interfejsów API Autouzupełnianie adresuWeryfikacji adresu Google Maps Platform.

Oto kilka korzyści płynących z korzystania z interfejsu Autouzupełnianie miejsc i weryfikacji adresów:

  • Ulepszenie wrażeń klientów: dzięki wyświetlaniu klientom sugestii adresów i miejsc w czasie rzeczywistym możesz pomóc im szybciej i łatwiej dokończyć proces płatności. Może to poprawić wrażenia klientów.
  • Zwiększona dokładność danych: interfejsy API Autocomplete miejsc i Weryfikacja adresów mogą pomóc w zwiększeniu dokładności danych o klientach. Może to być szczególnie ważne w e-commerce, ponieważ dokładne dane adresowe są niezbędne do prawidłowej dostawy paczek.

Aby poprawić jakość adresów, przeprowadź test A/B, aby sprawdzić, które rozwiązanie do sprawdzania adresów najlepiej odpowiada Twoim potrzebom. Daje Ci to szansę na ilościowe określenie, który produkt najlepiej nadaje się do Twojego zastosowania.

Test A/B to sposób porównywania 2 wersji strony internetowej lub aplikacji. Jest to rodzaj eksperymentu kontrolowanego, który służy do określenia wpływu zmiany zmiennej na mierzalny wynik.
Aby przeprowadzić test A/B, utwórz 2 wersje strony lub aplikacji – jedną jako grupę kontrolną i drugą z mierzalną zmianą. Następnie wyświetlasz te wersje różnym użytkownikom i mierzysz ich interakcje z nimi. Wersja, która uzyskuje lepsze wyniki, jest zwycięska.

Omówienie architektury systemu

Przyjrzyjmy się testowaniu A/B walidacji adresu w przypadku użycia e-commerce. Poniższy diagram architektury pokazuje, jak klient wchodzi w interakcję z Twoim systemem handlu, co pozwala Ci określić skuteczniejszą strategię walidacji.

[System Context] Weryfikacja adresu w testach A/B

Systemy zaangażowane w testowanie A/B wartości interfejsu Address Validation API.

Schemat architektury pokazuje klienta odwiedzającego Twoją witrynę e-commerce, który wchodzi w interakcję z systemem testów A/B. Ten system decyduje, które zmienne testowe wyświetlić klientowi, na podstawie systemu oprogramowania sklepu internetowego. Sklep internetowy wywołuje interfejs API w systemie oprogramowania Google Maps Platform. Zbiera też statystyki testów A/B, które są przetwarzane przez system analityczny i przekazywane z powrotem do systemu testów A/B.

Proces testowania A/B

Cały proces testów A/B składa się z 4 etapów.

  • Przygotowanie – określenie wymagań, zakresu i harmonogramu testowania.
  • Tworzenie – zaimplementuj interfejsy API Autouzupełnianie miejsc i Address Validation w środowisku, w którym chcesz przeprowadzić test.
  • Wykonaj – zbieraj dane w trakcie trwania testu, aż do uzyskania istotnych wyników lub gdy upłynie czas.
  • Analiza – porównaj wyniki z hipotezą i określ kolejne kroki.

Omówimy je po kolei.

Przygotowanie

Podejmowanie decyzji o wymaganiach dotyczących testów A/B

Początkowe odkrywanie

Zadaj sobie pytanie: dlaczego dodajesz lub zmieniasz dostawcę weryfikacji adresów? Na przykład, korzystając z autouzupełniania w Mapach Google:

  • Oszczędność czasu: nie musisz wpisywać całej nazwy miejsca – możesz po prostu zacząć pisać, a pojawią się sugestie.
  • Zmniejsza liczbę błędów: jeśli źle wpiszesz nazwę miejsca, Mapy Google nadal zaproponują poprawne miejsce.

Weryfikacja adresu ma wiele zalet, w tym:

  • Zwiększone wskaźniki dostaw: weryfikacja adresu może pomóc w zwiększeniu wskaźników dostawy, ponieważ zapewnia, że przesyłki są wysyłane na właściwy adres. Może to zaoszczędzić firmom czas i pieniądze oraz zwiększyć zadowolenie klientów.
  • Ulepszona jakość danych: weryfikacja adresu może poprawić jakość danych dzięki wykrywaniu i poprawianiu błędów w adresach. Może to zwiększyć dokładność kampanii marketingowych i innych inicjatyw opartych na danych.

Decyzja dotycząca hipotezy

Ustal hipotezę do przetestowania. Oto 2 przykłady:

1. Współczynnik konwersji

Po dodaniu rozwiązania typu „type ahead” zwykle następuje niewielki wzrost współczynnika konwersji, który warto śledzić. Jeśli zmieniasz rozwiązanie typu „type ahead” od innego dostawcy, należy się spodziewać stałego współczynnika konwersji. Jeśli współczynnik konwersji spadnie, najpierw sprawdź implementację.

Współczynnik konwersji jest ważny, ale nie zawsze oddaje pełnego obrazu. Dodanie rozwiązania do weryfikacji adresów ma na celu zapobieganie przesyłaniu przez użytkowników adresów o niskiej jakości w miejscu wprowadzania danych. W niektórych przypadkach może to jednak utrudniać rejestrowanie adresów. Może to spowodować spadek ogólnego współczynnika konwersji, ale niekoniecznie jest to coś złego. Niezrealizowane zamówienia z powodu weryfikacji adresu mogły zostać powiązane z niską jakością danych adresowych, co spowodowałoby naliczenie przez firmę dodatkowych kosztów w wyniku obciążenia zwrotnego za dostawę.

2. zmniejszenie liczby adresów o niskiej jakości,

Właśnie w takich sytuacjach przydaje się dobre rozwiązanie do weryfikacji adresów. Po wdrożeniu weryfikacji adresu spodziewaj się zmniejszenia liczby danych adresowych o niskiej jakości.

Jeśli porównujesz nowe rozwiązanie z dotychczasowym, możesz mieć ochotę po prostu porównać współczynniki dopasowania „prawidłowego adresu” i wybrać usługę, która zapewnia wyższy współczynnik dopasowania. Może to być mylące, ponieważ jedna usługa może generować więcej fałszywych alarmów niż druga.

Bardziej przydatnym wskaźnikiem jest natomiast porównanie skuteczności korzystania z danych adresów. W przypadku handlu elektronicznego pożądanym efektem rejestrowania adresu jest dostarczenie przesyłki.

Kompilacja

Teraz zaczyna się jego ekscytująca część. Nadszedł czas na opracowanie nowego rozwiązania dla klientów. Mamy już przydatny przewodnik dotyczący implementacji autouzupełniania miejscinterfejsu Address Validation API w procesie płatności w e-commerce. Zalecamy sprawdzenie tego podczas wykonywania tego kroku.

Nawet jeśli nie tworzysz aplikacji pod kątem handlu elektronicznego, wiele informacji jest nadal istotnych, zwłaszcza wskazówki dotyczące określania jakości adresu na podstawie danych wyjściowych interfejsu Address Validation API.

Schemat architektury

Poniżej przedstawiamy przykład kontenerów, które można wykorzystać do tworzenia testów A/B w środowisku e-commerce:

[Execution Environment] A/B Testing Address Validation

Ważne aplikacje, usługi i magazyny danych w kluczowych systemach, które obsługują architekturę. (kliknij, aby powiększyć)

Diagram architektury przedstawia kontenery, które tworzą system oprogramowania testu A/B, oraz system oprogramowania aplikacji e-commerce. Pokazuje ona klienta w Twojej witrynie e-commerce, który wchodzi w interakcję z systemem równoważenia obciążenia, który przekieruje go do aplikacji witryny e-commerce. Menedżer testu A/B komunikuje się z systemem równoważenia obciążenia, aby wybrać zmienną testu A/B do wyświetlenia klientowi. System testów A/B zapisuje też wyniki i konfigurację testu A/B w wybranej przez Ciebie bazie danych. Aplikacja internetowa e-commerce wysyła wywołania interfejsu API do systemu oprogramowania Google Maps Platform, a także raportuje zdarzenia analityczne do systemu oprogramowania Analytics, który rejestruje zdarzenia testowe w bazie danych wyników testów A/B.

Weryfikowanie implementacji

Nieprawidłowo zaimplementowane rozwiązanie spowoduje niewiarygodne wyniki testów. Zanim uruchomisz test A/B, musisz najpierw sprawdzić rozwiązanie na małej grupie użytkowników, aby się upewnić, że działa ono zgodnie z oczekiwaniami. Mogą to być wewnętrzni testerzy QA lub wybrana grupa zewnętrznych testerów, którzy według Ciebie mogą udzielić konstruktywnej informacji zwrotnej.

Uruchom

Stopniowe zwiększanie liczby

Nawet po zatwierdzeniu rozwiązania warto stopniowo zwiększać zakres testu, zaczynając od małej grupy użytkowników. Dzięki temu można wcześnie wykrywać błędy i inne problemy oraz szybko je rozwiązywać bez wpływu na dużą liczbę użytkowników.

Pełny test

Gdy rozwiązanie zostanie przetestowane przez małą grupę użytkowników i wszystkie problemy zostaną rozwiązane, możemy przeprowadzić pełny test A/B. Nie musi to być dokładny podział natężenia na 50/50, ale wielkość powinna być porównywalna z losowo wybranym zestawem danych o używaniu na żywo.

Pobieranie danych

Podczas testu należy zadbać o zebranie odpowiednich danych na poparcie hipotezy. Aby ułatwić zbieranie tych danych, a później ich analizę, możesz skorzystać z platformy do testów A/B. Google Maps Platform gromadzi też dane o wykorzystaniu interfejsu API, które mogą być przydatne. Więcej informacji o korzystaniu z naszych narzędzi do raportowania znajdziesz na tej stronie.

Oto kilka sugerowanych danych:

Autouzupełnianie miejsc

Współczynnik konwersji: czy współczynnik konwersji lub wypełniania formularza wzrósł w porównaniu z okresem, w którym nie korzystano z autouzupełniania?
Interakcja z narzędziem: czy więcej użytkowników korzysta z autouzupełniania miejsc w porównaniu z poprzednim rozwiązaniem?

Weryfikacja adresu

Pomyślne dostarczenie: czy liczba nieudanych dostaw spadła ze względu na jakość adresu?
Zmiany adresu: czy zmniejszyła się liczba opłat za zmianę adresu otrzymywanych od kurierów?
Obszary mieszkalne i komercyjne: czy nastąpiła poprawa w rejestrowaniu danych dotyczących nieruchomości mieszkalnych i komercyjnych? (dotyczy tylko wybranych rynków)

Analizuj

Test się zakończył, więc czas przeanalizować wyniki pod kątem pierwotnych kryteriów i hipotezy. Jeśli do przeprowadzenia procesu użyjesz platformy testów A/B, niektóre informacje mogą być już dostępne.

Wracając do sekcji Zmniejszenie liczby adresów o niskiej jakości, możesz też używać innych danych, które nie zostały zarejestrowane przez platformę testów A/B. Może to być odsetek nieudanych dostaw między scenariuszami testowania z przykładowymi danymi:

Rozwiązanie A Rozwiązanie B
Nieudane dostawy 1,75% 1,23%

Z podanych wyżej przykładów wynika, że w tym przypadku lepszym rozwiązaniem będzie rozwiązanie B.

Podsumowanie

Mamy nadzieję, że ten przewodnik zawiera wystarczającą ilość informacji, aby rozpocząć testowanie A/B. Chociaż w tym artykule podano przykłady z branży e-commerce, te same podstawowe zasady można stosować w całym zakresie. Określ, jaki będzie efekt posiadania w swojej firmie danych adresowych wysokiej jakości, i traktuj to jako główną hipotezę.

Poniżej zamieszczamy linki do materiałów wymienionych w przewodniku, które warto przeczytać.

Miłego testowania,

Następne kroki

Pobierz białą księgę Ulepsz proces płatności, dostawy i obsługi dzięki wiarygodnym adresom oraz obejrzyj webinar Ulepsz proces płatności, dostawy i obsługi dzięki weryfikacji adresów .

Sugerowane materiały do dalszego zapoznania się z tematem:

Współtwórcy

Główni autorzy:

Henrik Valve | Inżynier rozwiązań Google Maps Platform