Mengukur dampak Validasi Alamat menggunakan pengujian A/B

Dokumen ini menjelaskan teknik yang perlu dipertimbangkan saat melakukan pengujian A/B API Place Autocomplete dan Address Validation Google Maps Platform.

Beberapa manfaat menggunakan Place Autocomplete dan Address Validation API adalah sebagai berikut:

  • Pengalaman pelanggan yang lebih baik: Dengan memberikan saran alamat dan tempat secara real time kepada pelanggan, Anda dapat membantu mereka menyelesaikan checkout dengan lebih cepat dan mudah. Hal ini dapat menghasilkan pengalaman pelanggan yang lebih baik.
  • Akurasi data yang lebih baik: Place Autocomplete dan Address Validation API dapat membantu Anda meningkatkan akurasi data pelanggan. Hal ini dapat menjadi sangat penting dalam e-commerce, karena data alamat yang akurat diperlukan untuk keberhasilan pengiriman paket.

Untuk meningkatkan kualitas alamat, jalankan pengujian A/B untuk mengevaluasi solusi validasi yang paling sesuai dengan kebutuhan Anda. Hal ini memberi Anda kesempatan untuk memutuskan secara kuantitatif produk mana yang paling sesuai untuk kasus penggunaan Anda.

Pengujian A/B adalah cara untuk membandingkan dua versi halaman web atau aplikasi satu sama lain. Ini adalah jenis eksperimen terkontrol yang digunakan untuk menentukan efek perubahan pada variabel terhadap hasil yang dapat diukur.
Untuk melakukan pengujian A/B, buat dua versi halaman atau aplikasi, satu sebagai kontrol dan satu lagi dengan perubahan yang dapat diukur. Kemudian, Anda menampilkan versi ini kepada pengguna yang berbeda dan mengukur cara mereka berinteraksi dengan versi tersebut. Versi yang berperforma lebih baik adalah pemenangnya.

Ringkasan Arsitektur Sistem

Mari kita lihat pengujian A/B Validasi Alamat dalam kasus penggunaan e-commerce. Diagram arsitektur di bawah ini menunjukkan bagaimana pelanggan akan berinteraksi dengan pengalaman commerce Anda sehingga memungkinkan Anda untuk menentukan strategi validasi yang lebih efektif.

[Konteks Sistem] A/B Testing Address Validation

Sistem yang terlibat saat melakukan pengujian A/B terhadap nilai Address Validation API.

Diagram arsitektur menunjukkan pelanggan di situs e-commerce Anda yang berinteraksi dengan Sistem Pengujian A/B. Sistem ini membuat keputusan variabel pengujian mana yang akan ditampilkan kepada pelanggan, dari sistem software toko e-commerce. Toko e-commerce melakukan panggilan API ke sistem software Google Maps Platform. Alat ini juga mengumpulkan analisis pengujian A/B, yang diproses oleh sistem software analisis, dan dilaporkan kembali ke sistem pengujian A/B.

Proses pengujian A/B

Saat Anda memikirkan keseluruhan proses pengujian A/B, ada empat tahap yang perlu dipertimbangkan.

  • Persiapan - Identifikasi persyaratan, cakupan, dan jangka waktu pengujian.
  • Build - Terapkan Place Autocomplete dan Address Validation API di lingkungan untuk menjalankan pengujian.
  • Berjalan - Kumpulkan metrik selama pengujian berjalan, hingga hasil yang signifikan diperoleh atau waktu habis.
  • Analisis - Bandingkan hasil dengan hipotesis dan identifikasi langkah berikutnya.

Kami akan berbicara tentang masing-masing ini pada gilirannya.

Persiapan

Menentukan persyaratan pengujian A/B

Penemuan awal

Tanyakan pada diri sendiri: Mengapa Anda menambahkan atau mengubah penyedia validasi alamat? Misalnya, menggunakan Place Autocomplete Google Maps:

  • Menghemat waktu: Anda tidak perlu mengetik seluruh nama tempat jika Anda dapat mulai mengetik dan melihat saran muncul.
  • Mengurangi error: Jika Anda salah mengeja nama tempat, Autocomplete Tempat Google Maps akan tetap menyarankan tempat yang benar.

Ada banyak manfaat validasi alamat, termasuk:

  • Rasio pengiriman yang lebih baik: Validasi alamat dapat membantu meningkatkan rasio pengiriman dengan memastikan bahwa surat dan paket dikirim ke alamat yang benar. Hal ini dapat menghemat waktu dan biaya bisnis, serta meningkatkan kepuasan pelanggan.
  • Kualitas data yang lebih baik: Validasi alamat dapat membantu meningkatkan kualitas data dengan mengidentifikasi dan memperbaiki error dalam alamat. Hal ini dapat meningkatkan akurasi kampanye pemasaran dan inisiatif berbasis data lainnya.

Menentukan hipotesis

Putuskan hipotesis Anda untuk diuji. Berikut adalah dua contoh:

1. Rasio konversi

Saat Anda menambahkan solusi ketik otomatis, biasanya akan terjadi sedikit peningkatan rasio konversi, dan ini adalah metrik yang baik untuk dilacak. Jika Anda mengubah solusi prediksi teks dari penyedia lain, rasio konversi yang datar akan terjadi. Jika rasio konversi menurun, hal pertama yang harus diperiksa adalah penerapannya.

Rasio konversi penting, tetapi mungkin tidak menunjukkan keseluruhan data. Menambahkan solusi validasi alamat dirancang untuk mencegah pengguna mengirimkan alamat berkualitas buruk di titik entri, dan dapat menambahkan beberapa hambatan alami untuk pengambilan alamat dalam beberapa skenario. Hal ini dapat menyebabkan penurunan rasio konversi secara keseluruhan, tetapi hal ini tidak selalu harus dilihat sebagai hal yang buruk. Pesanan yang tidak selesai karena penambahan validasi alamat mungkin terkait dengan data alamat berkualitas buruk yang akan menimbulkan biaya bagi bisnis melalui penagihan balik pengiriman.

2. Pengurangan alamat berkualitas buruk

Di sinilah solusi validasi alamat yang baik dapat benar-benar menunjukkan keunggulannya. Dengan menerapkan Validasi Alamat, Anda akan melihat pengurangan data alamat berkualitas buruk.

Jika Anda membandingkan solusi baru dengan solusi yang sudah ada, Anda mungkin tergoda untuk hanya membandingkan rasio kecocokan 'alamat yang baik', dan memilih layanan yang memberikan rasio kecocokan yang lebih tinggi. Hal ini dapat menyesatkan karena satu layanan mungkin memberikan lebih banyak positif palsu daripada layanan lainnya.

Sebagai gantinya, metrik yang lebih berdampak adalah membandingkan hasil yang berhasil dari penggunaan data alamat. Dengan mengambil e-commerce sebagai contoh, hasil yang diinginkan dari pengambilan alamat adalah pengiriman paket yang berhasil pada akhirnya.

Build

Sekarang saatnya bagian yang menarik. Saatnya membangun solusi baru untuk pelanggan Anda. Kami sudah memiliki panduan praktis untuk menerapkan Place Autocomplete dan Address Validation API di checkout e-commerce. Sebaiknya Anda melihatnya saat menyelesaikan langkah ini.

Meskipun Anda tidak membuat aplikasi khusus untuk e-commerce, banyak informasi yang masih relevan, terutama panduan untuk menentukan kualitas alamat dari output Address Validation API.

Diagram Arsitektur

Contoh container yang dapat digunakan untuk membuat pengujian A/B di lingkungan e-commerce adalah sebagai berikut:

[Lingkungan Eksekusi] Validasi Alamat Pengujian A/B

Aplikasi, layanan, dan penyimpanan data yang penting, dalam sistem kunci, yang mendukung arsitektur. (Klik untuk memperbesar.)

Diagram arsitektur menunjukkan penampung yang membentuk Sistem Software Pengujian A/B, dan Sistem Software Aplikasi E-commerce. Halaman ini menampilkan pelanggan ke situs e-commerce Anda yang berinteraksi dengan Load Balancer, yang akan mengarahkan mereka ke aplikasi situs e-commerce. Pengelola Pengujian A/B berkomunikasi dengan load balancer, untuk memilih variabel pengujian A/B yang akan ditampilkan kepada pelanggan. Sistem pengujian A/B ini juga mencatat hasil dan konfigurasi pengujian A/B dalam database pilihan Anda. Aplikasi Web E-commerce melakukan panggilan API ke Sistem Software Google Maps Platform, dan juga melaporkan peristiwa analisis ke sistem software Analytics, yang mencatat peristiwa pengujian ke database hasil pengujian A/B.

Memvalidasi penerapan

Solusi yang diterapkan dengan buruk akan menghasilkan hasil pengujian yang tidak dapat diandalkan. Sebelum menjalankan pengujian A/B, Anda harus memvalidasi solusi dengan sekelompok kecil pengguna terlebih dahulu untuk memastikan solusi tersebut berfungsi seperti yang diharapkan. Penguji ini dapat berupa penguji QA internal, dan/atau grup penguji eksternal tertentu, yang Anda percayai untuk memberikan masukan yang konstruktif.

Jalankan

Meningkatkan secara perlahan

Meskipun solusi telah divalidasi, sebaiknya tingkatkan pengujian secara perlahan, dimulai dengan sekelompok kecil pengguna. Dengan melakukan hal ini, bug atau masalah lainnya dapat diketahui lebih awal dan ditangani dengan cepat tanpa memengaruhi sebagian besar pengguna Anda.

Pengujian lengkap

Setelah solusi diuji oleh sekelompok kecil pengguna dan masalah apa pun telah diatasi, kita dapat meningkatkan pengujian ke pengujian A/B penuh. Hal ini tidak harus berupa pembagian traffic 50/50 yang sebenarnya, tetapi ukuran tersebut harus sebanding dengan kumpulan penggunaan live yang dipilih secara acak.

Mengambil Metrik

Selama pengujian, Anda harus memastikan bahwa data yang sesuai untuk mendukung hipotesis Anda telah diambil. Anda dapat menggunakan platform A/B testing selama proses ini, untuk memudahkan pengumpulan data ini, dan analisis selanjutnya. Google Maps Platform juga mengumpulkan metrik penggunaan API yang mungkin berguna. Anda dapat melihat halaman ini untuk mempelajari lebih lanjut cara menggunakan alat pelaporan kami.

Beberapa metrik yang disarankan adalah sebagai berikut:

Place Autocomplete

Rasio konversi: Apakah rasio konversi/penyelesaian formulir Anda meningkat karena sebelumnya tidak memiliki solusi pelengkapan otomatis?
Interaksi alat: Apakah lebih banyak pengguna berhasil berinteraksi dengan Place Autocomplete dibandingkan dengan solusi sebelumnya?

Address Validation

Keberhasilan pengiriman: Apakah ada penurunan pengiriman yang gagal karena kualitas alamat?
Perubahan alamat: Apakah jumlah tagihan perubahan alamat yang Anda terima dari kurir telah berkurang?
Residensial vs. komersial: Apakah ada peningkatan dalam pengambilan data residensial vs. komersial? (hanya pasar tertentu)

Analisis

Sekarang pengujian selesai, saatnya menganalisis hasil terhadap kriteria dan hipotesis pengujian asli. Jika Anda menggunakan platform pengujian A/B untuk menyelesaikan proses ini, beberapa informasi mungkin sudah tersedia untuk Anda.

Kembali ke bagian Pengurangan alamat berkualitas buruk di atas, Anda juga dapat menggunakan metrik lain yang mungkin belum terdeteksi oleh platform pengujian A/B. Ini bisa berupa rasio pengiriman yang gagal di antara skenario pengujian, dengan contoh data seperti ini:

Solusi A Solusi B
Pengiriman yang gagal 1,75% 1,23%

Melihat contoh dasar di atas, jelas bahwa untuk kasus penggunaan ini, Solusi B akan menjadi pilihan yang lebih baik.

Kesimpulan

Semoga panduan ini telah memberi Anda informasi yang cukup untuk memulai perjalanan pengujian A/B. Meskipun telah menggunakan contoh dari ruang e-commerce, prinsip dasar yang sama dapat diterapkan di seluruh area. Tentukan hasil yang berhasil dari memiliki data alamat berkualitas baik di bisnis Anda, dan lacak hal tersebut sebagai hipotesis utama Anda.

Kami telah menyertakan kembali link yang disebutkan dalam panduan di bawah, sebagai bacaan lanjutan yang disarankan.

Selamat mencoba!

Langkah Berikutnya

Download Laporan Resmi Meningkatkan checkout, pengiriman, dan operasi dengan alamat yang andal dan lihat Webinar Meningkatkan checkout, pengiriman, dan operasi dengan Validasi Alamat .

Saran bacaan lebih lanjut:

Kontributor

Penulis utama:

Henrik Valve | Engineer Solusi Google Maps Platform