Misurare l'impatto della convalida degli indirizzi mediante un test A/B

Questo documento descrive le tecniche da prendere in considerazione quando esegui un test A/B delle API Completamento automatico dei luoghi e Convalida indirizzo di Google Maps Platform.

Di seguito sono riportati alcuni vantaggi dell'utilizzo dell'API Place Autocomplete e dell'API Address Validation:

  • Miglioramento dell'esperienza dei clienti:fornendo ai clienti suggerimenti in tempo reale per indirizzi e luoghi, puoi aiutarli a completare il pagamento più rapidamente e facilmente. Ciò può portare a una migliore esperienza cliente.
  • Maggiore precisione dei dati:l'API di completamento automatico dei luoghi e di convalida degli indirizzi può aiutarti a migliorare la precisione dei dati dei clienti. Questo aspetto può rivelarsi particolarmente importante nell'e-commerce, perché per la consegna corretta dei pacchi si fa affidamento su dati precisi degli indirizzi.

Per migliorare la qualità degli indirizzi, esegui un test A/B per valutare quale soluzione di convalida soddisfa meglio le tue esigenze. In questo modo, hai la possibilità di decidere in modo quantitativo quale prodotto è più adatto al tuo caso d'uso.

Un test A/B è un modo per confrontare due versioni di una pagina web o di un'app. Si tratta di un tipo di esperimento controllato utilizzato per determinare l'effetto di una modifica di una variabile su un risultato misurabile.
Per eseguire un test A/B, crea due versioni di una pagina o un'app, una come gruppo di controllo e l'altra con la modifica misurabile. Poi mostri queste versioni a diversi utenti e misuri il modo in cui interagiscono con loro. La versione con le prestazioni migliori è quella vincente.

Panoramica dell'architettura di sistema

Diamo un'occhiata ai test A/B di Convalida indirizzo in un caso d'uso di e-commerce. Il diagramma dell'architettura riportato di seguito mostra in che modo un cliente interagisce con la tua esperienza di commercio, consentendoti di determinare la strategia di convalida più efficace.

[Contesto del sistema] Convalida degli indirizzi dei test A/B

I sistemi coinvolti durante il test A/B del valore dell'API Address Validation.

Il diagramma dell'architettura mostra un cliente del tuo sito web di e-commerce che interagisce con il sistema di test A/B. Questo sistema decide quale variabile di test mostrare al cliente dal sistema software del negozio di e-commerce. Il negozio di e-commerce effettua una chiamata API al sistema software di Google Maps Platform. Raccoglie inoltre dati e analisi dei test A/B, che vengono elaborati da un sistema software di analisi e poi inviati al sistema di test A/B.

Procedura di test A/B

Quando pensi al processo generale del test A/B, ci sono quattro fasi da considerare.

  • Preparazione: identifica i requisiti, l'ambito e le tempistiche dei test.
  • Build - Implementa l'API Place Autocomplete e Address Validation in un ambiente in cui eseguire il test.
  • Esegui: raccogli le metriche durante l'esecuzione del test finché non vengono ottenuti risultati significativi o non è scaduto il tempo.
  • Analizza: confronta i risultati con l'ipotesi e identifica i passaggi successivi.

Ne parleremo singolarmente.

Preparazione

Decidere i requisiti per i test A/B

Rilevamento iniziale

Chiediti: perché stai aggiungendo o modificando un fornitore di servizi di convalida dell'indirizzo? Ad esempio, utilizzando il completamento automatico di Google Maps Places:

  • Risparmio di tempo: non devi digitare l'intero nome di un luogo, ma puoi iniziare a digitare e visualizzare i suggerimenti.
  • Riduce gli errori: se scrivi erroneamente il nome di un luogo, la funzionalità di completamento automatico dei luoghi di Google Maps suggerirà comunque il luogo corretto.

La convalida dell'indirizzo offre molti vantaggi, tra cui:

  • Miglioramento dei tassi di recapito: la convalida dell'indirizzo può contribuire a migliorare i tassi di recapito garantendo che la posta e i pacchi vengano inviati all'indirizzo corretto. Ciò può far risparmiare tempo e denaro alle aziende e migliorare la soddisfazione del cliente.
  • Miglioramento della qualità dei dati:la convalida degli indirizzi può contribuire a migliorare la qualità dei dati identificando e correggendo gli errori negli indirizzi. In questo modo, puoi migliorare la precisione delle campagne di marketing e di altre iniziative basate sui dati.

Decidere l'ipotesi

Scegli l'ipotesi da testare. Ecco due esempi:

1. Tasso di conversione

Quando aggiungi una soluzione di digitazione anticipata, è normale notare un leggero aumento dei tassi di conversione, che è una buona metrica da monitorare. Se stai cambiando la tua soluzione di digitazione anticipata di un altro fornitore, dovresti aspettarti un tasso di conversione costante. Se il tasso di conversione diminuisce, la prima cosa da controllare è l'implementazione.

Il tasso di conversione è importante, ma potrebbe non fornire un quadro completo. L'aggiunta di una soluzione di convalida degli indirizzi è progettata per impedire agli utenti di inviare indirizzi di scarsa qualità al momento dell'inserimento e potrebbe aggiungere qualche difficoltà naturale alla cattura degli indirizzi in alcuni scenari. Ciò potrebbe comportare un calo dei tassi di conversione complessivi, ma non deve necessariamente essere visto come un aspetto negativo. Gli ordini non completati a causa dell'aggiunta della convalida dell'indirizzo potrebbero essere stati associati a dati sull'indirizzo di scarsa qualità che avrebbero comportato un costo per l'attività tramite i riaccreditamenti della consegna.

2. Riduzione degli indirizzi di bassa qualità

È qui che una buona soluzione di convalida dell'indirizzo può davvero fare la differenza. Se implementi la convalida degli indirizzi, dovresti notare una riduzione dei dati sugli indirizzi di scarsa qualità.

Se stai confrontando una nuova soluzione con una esistente, potresti avere la tentazione di confrontare semplicemente i tassi di corrispondenza dell'"indirizzo valido" e selezionare il servizio che offre un tasso di corrispondenza più elevato. Questo può essere fuorviante perché un servizio potrebbe fornire più falsi positivi rispetto all'altro.

La metrica più efficace è invece confrontare il risultato positivo dell'utilizzo dei dati sugli indirizzi. Prendendo l'e-commerce come esempio, il risultato auspicato dell'acquisizione di un indirizzo sarebbe l'eventuale consegna di un pacco.

Build

Ora arriva la parte più interessante. È arrivato il momento di creare una nuova soluzione per i tuoi clienti. Abbiamo già una guida pratica per l'implementazione di Place Autocomplete e API Address Validation in un pagamento e-commerce. Ti consigliamo di dare un'occhiata mentre completi questo passaggio.

Anche se non stai creando un sito per l'e-commerce, molte informazioni sono comunque pertinenti, in particolare le indicazioni per determinare la qualità degli indirizzi dall'output dell'API Address Validation.

Diagramma dell'architettura

Di seguito è riportato un esempio dei contenitori che potrebbero essere utilizzati per creare un test A/B in un ambiente di e-commerce:

[Execution Environment] Convalida dell'indirizzo per i test A/B

Le applicazioni, i servizi e gli archivi di dati importanti nei sistemi chiave che alimentano l'architettura. (Fai clic per ingrandire.)

Il diagramma dell'architettura mostra i contenitori che costituiscono il sistema software per i test A/B e il sistema software per le app di e-commerce. Mostra a un cliente il tuo sito web di e-commerce che interagisce con un bilanciatore del carico, che lo reindirizzerà all'app del sito web di e-commerce. Il gestore del test A/B comunica con il bilanciatore del carico per selezionare la variabile del test A/B da mostrare al cliente. Questo sistema di test A/B registra anche i risultati e la configurazione del test A/B in un database a tua scelta. L'app web di e-commerce effettua chiamate API al sistema software della piattaforma Google Maps e registra anche gli eventi di analisi nel sistema software di Analytics, che registra gli eventi di test nel database dei risultati dei test A/B.

Convalida dell'implementazione

Una soluzione non implementata correttamente produrrà risultati di test inaffidabili. Prima di eseguire il test A/B, è importante convalidare la soluzione con un piccolo gruppo di utenti per assicurarsi che funzioni come previsto. Possono essere tester di QA interni e/o un gruppo selezionato di tester esterni di cui ti fidi per fornire un feedback costruttivo.

Esegui

Aumenta lentamente il volume di invio

Anche se la soluzione è stata convalidata, è comunque buona norma aumentare gradualmente l'intensità del test, iniziando con un piccolo gruppo di utenti. In questo modo, è possibile individuare subito eventuali bug o altri problemi e risolverli rapidamente senza influire su un'ampia percentuale di utenti.

Test completo

Una volta che la soluzione è stata testata da un piccolo gruppo di utenti e gli eventuali problemi sono stati risolti, possiamo passare a un test A/B completo. Non deve necessariamente trattarsi di una suddivisione del traffico 50/50, ma le dimensioni devono essere paragonabili a quelle di un insieme di utilizzo in tempo reale selezionato in modo casuale.

Acquisizione delle metriche

Durante il test, devi assicurarti che vengano acquisiti i dati appropriati per supportare la tua ipotesi. Durante questa procedura puoi utilizzare una piattaforma di test A/B per semplificare la raccolta dei dati e la successiva analisi. Google Maps Platform raccoglie anche metriche sull'utilizzo delle API che potrebbero esserti utili. Puoi visitare questa pagina per scoprire di più sull'utilizzo dei nostri strumenti di generazione di report.

Di seguito sono riportate alcune metriche suggerite:

Place Autocomplete

Tasso di conversione: il tasso di conversione/completamento del tuo modulo è migliorato rispetto a quando non avevi una soluzione di completamento automatico?
Interazione con lo strumento: un maggior numero di utenti interagisce correttamente con il completamento automatico dei luoghi rispetto alla soluzione precedente?

Convalida dell'indirizzo

Conseguimento del target di consegna: si è verificata una riduzione delle consegne non riuscite a causa della qualità dell'indirizzo?
Modifiche all'indirizzo: si è verificata una riduzione del numero di addebiti per cambio di indirizzo che hai ricevuto dai corrieri?
Residenziale o commerciale: è stato registrato un miglioramento nella raccolta dei dati relativi a proprietà residenziali o commerciali? (solo in alcuni mercati)

Analizza

Ora che il test è terminato, è il momento di analizzare i risultati rispetto ai criteri e all'ipotesi del test originali. Se hai utilizzato una piattaforma di test A/B per completare la procedura, alcune informazioni potrebbero essere già disponibili.

Tornando alla sezione Riduzione degli indirizzi di bassa qualità sopra, puoi utilizzare anche altre metriche che potrebbero non essere state acquisite dalla piattaforma di test A/B. Potrebbe trattarsi del tasso di importazioni non riuscite tra gli scenari di test, con dati di esempio come:

Soluzione A Soluzione B
Caricamenti non riusciti 1,75% 1,23%

Se guardiamo l'esempio di base riportato sopra, è chiaro che per questo caso d'uso la soluzione B sarebbe la scelta migliore.

Conclusione

Ci auguriamo che questa guida ti abbia fornito informazioni sufficienti per iniziare il tuo percorso di test A/B. Anche se ha utilizzato esempi tratti dall'ambito dell'e-commerce, gli stessi principi di base possono essere applicati a tutti. Individua il risultato positivo dell'avere dati sugli indirizzi di buona qualità nella tua attività e monitoralo come ipotesi principale.

Di seguito abbiamo incluso di nuovo i link menzionati nella guida, come ulteriore lettura consigliata.

Buon test!

Passaggi successivi

Scarica il white paper Migliora il pagamento, la consegna e le operazioni con indirizzi affidabili e guarda il webinar Migliorare il pagamento, la consegna e le operazioni con la convalida degli indirizzi .

Ulteriori letture suggerite:

Collaboratori

Autori principali:

Henrik Valve | Solutions Engineer di Google Maps Platform