Mengukur dampak Validasi Alamat menggunakan pengujian A/B

Dokumen ini menjelaskan teknik yang perlu dipertimbangkan saat melakukan pengujian A/B Place Autocomplete dan Address Validation API Google Maps Platform.

Beberapa manfaat menggunakan Place Autocomplete dan Address Validation API adalah sebagai berikut:

  • Pengalaman pelanggan yang lebih baik: Dengan memberikan saran real-time untuk alamat dan tempat kepada pelanggan, Anda dapat membantu mereka menyelesaikan checkout dengan lebih cepat dan mudah. Hal ini dapat meningkatkan pengalaman pelanggan.
  • Akurasi data yang lebih baik: Place Autocomplete dan Address Validation API dapat membantu Anda meningkatkan akurasi data pelanggan. Hal ini sangat penting dalam e-commerce, karena data alamat yang akurat diperlukan untuk keberhasilan pengiriman paket.

Untuk meningkatkan kualitas alamat, jalankan pengujian A/B untuk mengevaluasi solusi validasi mana yang paling sesuai dengan kebutuhan Anda. Hal ini memberi Anda kesempatan untuk memutuskan secara kuantitatif produk mana yang paling sesuai untuk kasus penggunaan Anda.

Pengujian A/B adalah cara untuk membandingkan dua versi halaman web atau aplikasi satu sama lain. Pengujian ini adalah jenis eksperimen terkontrol yang digunakan untuk menentukan efek perubahan pada variabel terhadap hasil yang dapat diukur.
Untuk melakukan pengujian A/B, buat dua versi halaman atau aplikasi, satu sebagai kontrol dan yang lainnya dengan perubahan yang dapat diukur. Kemudian, tunjukkan versi ini kepada pengguna yang berbeda dan ukur interaksi mereka dengan versi tersebut. Versi yang performanya lebih baik adalah pemenangnya.

Ringkasan Arsitektur Sistem

Mari kita lihat pengujian A/B Address Validation dalam kasus penggunaan e-commerce. Diagram arsitektur di bawah menunjukkan cara pelanggan berinteraksi dengan pengalaman perdagangan Anda sehingga Anda dapat menentukan strategi validasi yang lebih efektif.

[Konteks Sistem] Pengujian A/B Address Validation

Sistem yang terlibat saat melakukan pengujian A/B nilai Address Validation API.

Diagram arsitektur menunjukkan pelanggan di situs e-commerce Anda berinteraksi dengan Sistem Pengujian A/B. Sistem ini membuat keputusan tentang variabel pengujian mana yang akan ditampilkan kepada pelanggan, dari sistem software toko e-commerce. Toko e-commerce melakukan panggilan API ke sistem software Google Maps Platform. Sistem ini juga mengumpulkan analisis pengujian A/B, yang diproses oleh sistem software analisis, dan dilaporkan kembali ke sistem pengujian A/B.

Proses pengujian A/B

Saat memikirkan keseluruhan proses pengujian A/B, ada empat tahap yang perlu dipertimbangkan.

  • Persiapan - Identifikasi persyaratan pengujian, cakupan, dan jangka waktu.
  • Build - Terapkan Place Autocomplete dan Address Validation API di lingkungan untuk menjalankan pengujian.
  • Jalankan - Kumpulkan metrik saat pengujian berjalan, hingga hasil yang signifikan diperoleh atau waktu telah habis.
  • Analisis - Bandingkan hasil dengan hipotesis dan identifikasi langkah berikutnya.

Kita akan membahas masing-masing hal ini secara bergantian.

Persiapan

Menentukan persyaratan pengujian A/B

Penemuan awal

Tanyakan pada diri Anda: Mengapa Anda menambahkan atau mengubah penyedia validasi alamat? Misalnya, menggunakan Place Autocomplete Google Maps:

  • Menghemat waktu: Anda tidak perlu mengetik seluruh nama tempat jika dapat mulai mengetik dan melihat saran muncul.
  • Mengurangi error: Jika Anda salah mengeja nama tempat, Place Autocomplete Google Maps akan tetap menyarankan tempat yang benar.

Ada banyak manfaat validasi alamat, termasuk:

  • Tingkat pengiriman yang lebih baik: Validasi alamat dapat membantu meningkatkan tingkat pengiriman dengan memastikan surat dan paket dikirim ke alamat yang benar. Hal ini dapat menghemat waktu dan biaya bisnis, serta meningkatkan kepuasan pelanggan.
  • Kualitas data yang lebih baik: Validasi alamat dapat membantu meningkatkan kualitas data dengan mengidentifikasi dan memperbaiki error dalam alamat. Hal ini dapat meningkatkan akurasi kampanye pemasaran dan inisiatif berbasis data lainnya.

Menentukan hipotesis

Tentukan hipotesis yang akan diuji. Berikut dua contohnya:

1. Rasio konversi

Saat Anda menambahkan solusi ketik cepat, biasanya Anda akan melihat sedikit peningkatan rasio konversi, dan ini adalah metrik yang baik untuk dilacak. Jika Anda mengubah solusi ketik cepat dari penyedia lain, rasio konversi yang stabil harus diharapkan. Jika rasio konversi turun, hal pertama yang harus diperiksa adalah implementasinya.

Rasio konversi penting, tetapi mungkin tidak memberikan gambaran lengkap. Menambahkan solusi validasi alamat dirancang untuk mencegah orang mengirimkan alamat berkualitas buruk pada titik entri, dan dapat menambahkan sedikit gesekan alami ke pengambilan alamat dalam beberapa skenario. Hal ini dapat menyebabkan penurunan rasio konversi secara keseluruhan, tetapi hal ini tidak harus dianggap sebagai hal yang buruk. Pesanan yang tidak selesai karena penambahan validasi alamat mungkin terkait dengan data alamat berkualitas buruk yang akan menimbulkan biaya bagi bisnis melalui tagihan balik biaya pengiriman.

2. Pengurangan alamat berkualitas buruk

Di sinilah solusi validasi alamat yang baik dapat benar-benar bersinar. Dengan menerapkan Address Validation, Anda akan melihat pengurangan data alamat berkualitas buruk.

Jika Anda membandingkan solusi baru dengan solusi yang ada, Anda mungkin tergoda untuk membandingkan tingkat kecocokan 'alamat yang baik', dan memilih layanan yang memberikan tingkat kecocokan yang lebih tinggi. Hal ini dapat menyesatkan karena satu layanan mungkin memberikan lebih banyak positif palsu daripada layanan lainnya.

Sebagai gantinya, metrik yang lebih berdampak adalah membandingkan hasil penggunaan data alamat yang berhasil. Mengambil e-commerce sebagai contoh, hasil yang diinginkan dari pengambilan alamat adalah keberhasilan pengiriman paket.

Build

Sekarang bagian yang menarik! Saatnya membuat solusi baru untuk pelanggan Anda. Kami sudah memiliki panduan praktis untuk menerapkan Place Autocomplete dan Address Validation API di checkout e-commerce. Sebaiknya periksa panduan ini saat menyelesaikan langkah ini.

Meskipun Anda tidak membuat solusi khusus untuk e-commerce, banyak informasi yang masih relevan, terutama panduan tentang cara menentukan kualitas alamat dari output Address Validation API.

Diagram Arsitektur

Contoh penampung yang dapat digunakan untuk membuat pengujian A/B di lingkungan e-commerce ada di bawah:

[Lingkungan Eksekusi] Pengujian A/B Address Validation

Aplikasi, layanan, dan penyimpanan data penting, dalam sistem utama, yang mendukung arsitektur. (Klik untuk memperbesar.)

Diagram arsitektur menunjukkan penampung yang membentuk Sistem Software Pengujian A/B, dan Sistem Software Aplikasi E-commerce. Diagram ini menunjukkan pelanggan di situs e-commerce Anda berinteraksi dengan Load Balancer, yang akan mengarahkan mereka ke aplikasi situs e-commerce. Pengelola Pengujian A/B berkomunikasi dengan load balancer, untuk memilih variabel pengujian A/B yang akan ditampilkan kepada pelanggan. Sistem pengujian A/B ini juga mencatat hasil dan konfigurasi pengujian A/B dalam database pilihan Anda. Aplikasi Web E-commerce melakukan panggilan API ke Sistem Software Google Maps Platform, dan juga melaporkan peristiwa analisis ke sistem software Analytics, yang mencatat peristiwa pengujian ke database hasil pengujian A/B.

Memvalidasi implementasi

Solusi yang diimplementasikan dengan buruk akan menghasilkan hasil pengujian yang tidak dapat diandalkan. Sebelum menjalankan pengujian A/B, pertama-tama penting untuk memvalidasi solusi dengan grup pengguna kecil guna memastikan solusi tersebut berfungsi seperti yang diharapkan. Hal ini dapat dilakukan oleh penguji QA internal, dan/atau grup penguji eksternal terpilih, yang Anda percayai untuk memberikan masukan yang membangun.

Jalankan

Meningkatkan secara perlahan

Meskipun solusi telah divalidasi, sebaiknya tingkatkan pengujian secara perlahan, mulai dari grup pengguna kecil. Dengan melakukannya, bug atau masalah lainnya dapat ditemukan lebih awal dan ditangani dengan cepat tanpa memengaruhi persentase besar pengguna Anda.

Pengujian lengkap

Setelah solusi diuji oleh sekelompok kecil pengguna dan masalah apa pun telah ditangani, kita dapat meningkatkan ke pengujian A/B lengkap. Hal ini tidak harus berupa pembagian traffic 50/50 yang sebenarnya, tetapi harus sebanding ukurannya dengan kumpulan penggunaan langsung yang dipilih secara acak.

Mengambil Metrik

Selama pengujian, Anda harus memastikan bahwa data yang sesuai untuk mendukung hipotesis Anda diambil. Anda dapat menggunakan platform pengujian A/B selama proses ini, untuk mempermudah pengumpulan data ini, dan analisis selanjutnya. Google Maps Platform juga mengumpulkan metrik penggunaan API yang mungkin berguna. Anda dapat melihat halaman ini untuk mempelajari lebih lanjut cara menggunakan alat pelaporan kami.

Beberapa metrik yang disarankan adalah sebagai berikut:

Place Autocomplete

Rasio konversi: Apakah rasio konversi/penyelesaian formulir Anda meningkat dari tidak memiliki solusi pelengkapan otomatis sebelumnya?
Interaksi alat: Apakah lebih banyak pengguna yang berhasil berinteraksi dengan Place Autocomplete dibandingkan dengan solusi sebelumnya?

Address Validation

Keberhasilan pengiriman: Apakah ada penurunan pengiriman yang gagal karena kualitas alamat?
Perubahan alamat: Apakah ada penurunan jumlah biaya perubahan alamat yang Anda terima dari kurir?
Rumah vs komersial: Apakah ada peningkatan dalam pengambilan data rumah vs komersial? (hanya pasar tertentu)

Analisis

Sekarang pengujian telah selesai, saatnya menganalisis hasil terhadap kriteria dan hipotesis pengujian asli. Jika Anda menggunakan platform pengujian A/B untuk menyelesaikan proses, beberapa informasi mungkin sudah tersedia untuk Anda.

Kembali ke bagian Pengurangan alamat berkualitas buruk di atas, Anda juga dapat menggunakan metrik lain yang mungkin belum diambil oleh platform pengujian A/B. Hal ini dapat berupa tingkat pengiriman yang gagal antara skenario pengujian, dengan contoh data seperti ini:

Solusi A Solusi B
Pengiriman yang gagal 1,75% 1,23%

Melihat contoh dasar di atas, jelas bahwa untuk kasus penggunaan ini, Solusi B akan menjadi pilihan yang lebih baik.

Kesimpulan

Semoga panduan ini memberi Anda informasi yang cukup untuk memulai perjalanan pengujian A/B. Meskipun menggunakan contoh dari ruang e-commerce, prinsip dasar yang sama dapat diterapkan secara umum. Tentukan hasil yang berhasil dari memiliki data alamat berkualitas baik dalam bisnis Anda, dan lacak hal tersebut sebagai hipotesis utama Anda.

Kami telah menyertakan link yang disebutkan dalam panduan lagi di bawah, sebagai bacaan lebih lanjut yang disarankan.

Selamat mencoba!

Langkah Berikutnya

Download Whitepaper Meningkatkan checkout, pengiriman, dan operasi dengan alamat yang andal dan lihat Webinar Meningkatkan checkout, pengiriman, dan operasi dengan Address Validation .

Bacaan lebih lanjut yang disarankan:

Kontributor

Penulis utama:

Henrik Valve | Solutions Engineer Google Maps Platform