Mengukur dampak Validasi Alamat menggunakan pengujian A/B

Dokumen ini menjelaskan teknik yang perlu dipertimbangkan saat melakukan pengujian A/B pada API Place Autocomplete dan Address Validation Google Maps Platform.

Berikut beberapa manfaat menggunakan Place Autocomplete dan Address Validation API:

  • Pengalaman pelanggan yang lebih baik: Dengan memberikan saran alamat dan tempat secara real-time kepada pelanggan, Anda dapat membantu mereka menyelesaikan checkout dengan lebih cepat dan mudah. Hal ini dapat menghasilkan pengalaman pelanggan yang lebih baik.
  • Peningkatan akurasi data: Place Autocomplete dan Address Validation API dapat membantu Anda meningkatkan akurasi data pelanggan. Hal ini bisa sangat penting dalam e-commerce, karena data alamat yang akurat diandalkan untuk keberhasilan pengiriman paket.

Untuk meningkatkan kualitas alamat Anda, jalankan pengujian A/B untuk mengevaluasi solusi validasi mana yang paling sesuai dengan kebutuhan Anda. Hal ini memberi Anda kesempatan untuk memutuskan secara kuantitatif produk mana yang paling sesuai untuk kasus penggunaan Anda.

Pengujian A/B adalah cara untuk membandingkan dua versi halaman web atau aplikasi satu sama lain. Ini adalah jenis eksperimen terkontrol yang digunakan untuk menentukan efek perubahan pada variabel terhadap hasil yang dapat diukur.
Untuk melakukan pengujian A/B, buat dua versi halaman atau aplikasi, satu sebagai kontrol dan yang lainnya dengan perubahan yang dapat diukur. Kemudian, Anda menampilkan versi ini kepada pengguna yang berbeda dan mengukur cara mereka berinteraksi dengan versi tersebut. Versi yang berperforma lebih baik adalah pemenangnya.

Ringkasan Arsitektur Sistem

Mari kita lihat pengujian A/B Validasi Alamat dalam kasus penggunaan e-commerce. Diagram arsitektur di bawah menunjukkan cara pelanggan berinteraksi dengan pengalaman e-commerce Anda sehingga Anda dapat menentukan strategi validasi yang lebih efektif.

[Konteks Sistem] Pengujian A/B Validasi Alamat

Sistem yang terlibat saat melakukan pengujian A/B pada nilai Address Validation API.

Diagram arsitektur menunjukkan pelanggan di situs e-commerce Anda yang berinteraksi dengan Sistem Pengujian A/B. Sistem ini membuat keputusan tentang variabel pengujian mana yang akan ditampilkan kepada pelanggan, dari sistem software toko e-commerce. Toko e-commerce melakukan panggilan API ke sistem software Google Maps Platform. Sistem ini juga mengumpulkan analisis pengujian A/B, yang diproses oleh sistem software analisis, dan dilaporkan kembali ke sistem pengujian A/B.

Proses pengujian A/B

Saat memikirkan keseluruhan proses pengujian A/B, ada empat tahap yang perlu dipertimbangkan.

  • Persiapan - Identifikasi persyaratan, cakupan, dan jangka waktu pengujian.
  • Bangun - Terapkan Place Autocomplete dan Address Validation API di lingkungan untuk menjalankan pengujian.
  • Jalankan - Kumpulkan metrik saat pengujian sedang berjalan, hingga hasil yang signifikan diperoleh atau waktu telah habis.
  • Analisis - Bandingkan hasil dengan hipotesis dan identifikasi langkah selanjutnya.

Kita akan membahasnya satu per satu.

Persiapan

Menentukan persyaratan pengujian A/B

Penemuan awal

Tanyakan pada diri Anda: Mengapa Anda menambahkan atau mengubah penyedia validasi alamat? Misalnya, menggunakan Place Autocomplete Google Maps:

  • Menghemat waktu: Anda tidak perlu mengetik seluruh nama tempat, cukup mulai mengetik dan lihat saran yang muncul.
  • Mengurangi kesalahan: Jika Anda salah mengeja nama tempat, Pelengkapan Otomatis Tempat Google Maps akan tetap menyarankan tempat yang benar.

Ada banyak manfaat validasi alamat, termasuk:

  • Tingkat pengiriman yang lebih baik: Validasi alamat dapat membantu meningkatkan tingkat pengiriman dengan memastikan bahwa surat dan paket dikirim ke alamat yang benar. Hal ini dapat menghemat waktu dan biaya bisnis, serta meningkatkan kepuasan pelanggan.
  • Kualitas data yang lebih baik: Validasi alamat dapat membantu meningkatkan kualitas data dengan mengidentifikasi dan memperbaiki kesalahan dalam alamat. Hal ini dapat meningkatkan akurasi kampanye pemasaran dan inisiatif berbasis data lainnya.

Menentukan hipotesis

Tentukan hipotesis yang akan diuji. Berikut dua contohnya:

1. Rasio konversi

Saat Anda menambahkan solusi saran penelusuran, biasanya akan terjadi sedikit peningkatan rasio konversi, dan ini adalah metrik yang baik untuk dilacak. Jika Anda mengubah solusi pengetikan cepat dari penyedia lain, rasio konversi yang datar harus diperkirakan. Jika rasio konversi menurun, hal pertama yang perlu diperiksa adalah penerapan.

Rasio konversi penting, tetapi mungkin tidak memberikan gambaran lengkap. Menambahkan solusi validasi alamat dirancang untuk mencegah orang mengirimkan alamat berkualitas buruk pada titik entri, dan dapat menambahkan beberapa gesekan alami pada pengambilan alamat dalam beberapa skenario. Hal ini dapat menyebabkan penurunan rasio konversi secara keseluruhan, tetapi hal ini tidak selalu dianggap sebagai hal yang buruk. Pesanan yang tidak selesai karena penambahan validasi alamat mungkin terkait dengan data alamat berkualitas buruk yang akan menimbulkan biaya bagi bisnis melalui penagihan balik pengiriman.

2. Pengurangan alamat berkualitas buruk

Di sinilah solusi validasi alamat yang baik dapat benar-benar berguna. Dengan menerapkan Validasi Alamat, Anda akan melihat penurunan data alamat berkualitas buruk.

Jika Anda membandingkan solusi baru dengan solusi yang sudah ada, Anda mungkin hanya ingin membandingkan rasio kecocokan 'alamat yang valid', dan memilih layanan yang memberikan rasio kecocokan yang lebih tinggi. Hal ini dapat menyesatkan karena satu layanan mungkin memberikan lebih banyak positif palsu daripada layanan lainnya.

Sebagai gantinya, metrik yang lebih berdampak adalah membandingkan hasil yang berhasil menggunakan data alamat. Mengambil contoh e-commerce, hasil yang diinginkan dari pengambilan alamat adalah keberhasilan pengiriman paket pada akhirnya.

Build

Sekarang saatnya bagian yang menarik! Saatnya membangun solusi baru untuk pelanggan Anda. Kami telah menyediakan panduan praktis untuk menerapkan Place Autocomplete dan Address Validation API di checkout e-commerce. Sebaiknya Anda memeriksanya saat menyelesaikan langkah ini.

Meskipun Anda tidak membuat khusus untuk e-commerce, banyak informasi yang masih relevan, terutama panduan tentang cara menentukan kualitas alamat dari output Address Validation API.

Diagram Arsitektur

Contoh penampung yang dapat digunakan untuk membuat pengujian A/B di lingkungan e-commerce ada di bawah:

[Lingkungan Eksekusi] Pengujian A/B Validasi Alamat

Aplikasi, layanan, dan penyimpanan data penting, dalam sistem utama, yang mendukung arsitektur. (Klik untuk memperbesar.)

Diagram arsitektur menunjukkan penampung yang membentuk Sistem Software Pengujian A/B, dan Sistem Software Aplikasi E-commerce. Diagram ini menunjukkan pelanggan di situs e-commerce Anda berinteraksi dengan Load Balancer, yang akan mengarahkan mereka ke aplikasi situs e-commerce. Pengelola Pengujian A/B berkomunikasi dengan load balancer, untuk memilih variabel pengujian A/B yang akan ditampilkan kepada pelanggan. Sistem pengujian A/B ini juga mencatat hasil dan konfigurasi pengujian A/B dalam database pilihan Anda. Aplikasi Web E-commerce melakukan panggilan API ke Sistem Software Google Maps Platform, dan juga melaporkan peristiwa analisis ke sistem software Analytics, yang mencatat peristiwa pengujian ke database hasil pengujian A/B.

Memvalidasi penerapan

Solusi yang diterapkan dengan buruk akan menghasilkan hasil pengujian yang tidak dapat diandalkan. Sebelum menjalankan pengujian A/B, Anda harus memvalidasi solusi terlebih dahulu dengan sekelompok kecil pengguna untuk memastikan solusi berfungsi seperti yang diharapkan. Penguji ini dapat berupa penguji QA internal, dan/atau sekelompok penguji eksternal terpilih, yang Anda percayai untuk memberikan masukan yang konstruktif.

Jalankan

Meningkatkan secara perlahan

Meskipun solusi telah divalidasi, sebaiknya tingkatkan pengujian secara perlahan, dimulai dengan sekelompok kecil pengguna. Dengan melakukan hal ini, bug atau masalah lainnya dapat diketahui lebih awal dan ditangani dengan cepat tanpa memengaruhi sebagian besar pengguna Anda.

Pengujian penuh

Setelah solusi diuji oleh sekelompok kecil pengguna dan semua masalah telah diatasi, kita dapat meningkatkan pengujian A/B penuh. Hal ini tidak harus berupa pembagian traffic 50/50 yang sebenarnya, tetapi harus sebanding ukurannya dengan set penggunaan aktif yang dipilih secara acak.

Merekam Metrik

Selama pengujian, Anda harus memastikan bahwa data yang sesuai untuk mendukung hipotesis Anda dicatat. Anda dapat menggunakan platform pengujian A/B selama proses ini, untuk mempermudah pengumpulan data ini, dan analisis selanjutnya. Google Maps Platform juga mengumpulkan metrik penggunaan API yang mungkin berguna. Anda dapat membuka halaman ini untuk mempelajari lebih lanjut cara menggunakan alat pelaporan kami.

Berikut beberapa metrik yang disarankan:

Place Autocomplete

Rasio konversi: Apakah rasio konversi/penyelesaian formulir Anda meningkat dari sebelumnya yang tidak memiliki solusi pelengkapan otomatis?
Interaksi alat: Apakah lebih banyak pengguna berhasil berinteraksi dengan Pelengkapan Otomatis Tempat dibandingkan dengan solusi sebelumnya?

Address Validation

Keberhasilan pengiriman: Apakah ada penurunan pengiriman yang gagal karena kualitas alamat?
Perubahan alamat: Apakah ada penurunan jumlah biaya perubahan alamat yang Anda terima dari kurir?
Perumahan vs. komersial: Apakah ada peningkatan dalam pengambilan data perumahan vs. komersial? (hanya pasar tertentu)

Analisis

Setelah pengujian selesai, saatnya menganalisis hasil terhadap kriteria dan hipotesis pengujian asli. Jika Anda menggunakan platform pengujian A/B untuk menyelesaikan proses ini, beberapa informasi mungkin sudah tersedia untuk Anda.

Kembali ke bagian Pengurangan alamat berkualitas buruk di atas, Anda juga dapat menggunakan metrik lain yang mungkin belum dicatat oleh platform pengujian A/B. Hal ini bisa berupa tingkat kegagalan pengiriman antara skenario pengujian, dengan contoh data seperti ini:

Solusi A Solusi B
Pengiriman gagal 1,75% 1,23%

Melihat contoh dasar di atas, jelas bahwa untuk kasus penggunaan ini, Solusi B akan menjadi pilihan yang lebih baik.

Kesimpulan

Kami harap panduan ini telah memberi Anda cukup informasi untuk memulai perjalanan pengujian A/B. Meskipun menggunakan contoh dari ruang e-commerce, prinsip dasar yang sama dapat diterapkan secara menyeluruh. Tentukan hasil yang berhasil dari memiliki data alamat berkualitas baik dalam bisnis Anda, dan lacak hal tersebut sebagai hipotesis utama Anda.

Kami telah menyertakan link yang disebutkan dalam panduan lagi di bawah, sebagai bacaan lanjutan.

Selamat mencoba!

Langkah Berikutnya

Download Kertas Putih Meningkatkan proses checkout, pengiriman, dan operasi dengan alamat yang andal dan tonton Webinar Meningkatkan proses checkout, pengiriman, dan operasi dengan Validasi Alamat .

Bacaan lebih lanjut yang disarankan:

Kontributor

Penulis utama:

Henrik Valve | Google Maps Platform Solutions Engineer