Medición del impacto de la validación de direcciones con una prueba A/B

En este documento, se describen las técnicas que se deben tener en cuenta cuando se realiza una prueba A/B de las APIs de Place Autocomplete y Address Validation de Google Maps Platform.

A continuación, se mencionan algunos beneficios de usar las APIs de Place Autocomplete y Address Validation:

  • Mejora de la experiencia del cliente: Si les proporcionas a tus clientes sugerencias en tiempo real sobre direcciones y lugares, puedes ayudarlos a completar la confirmación de la compra de forma más rápida y sencilla. Esto puede mejorar la experiencia del cliente.
  • Mayor precisión de los datos: Las APIs de Place Autocomplete y Address Validation pueden ayudarte a mejorar la precisión de los datos de tus clientes. Esto puede ser especialmente importante en el comercio electrónico, ya que se depende de los datos de dirección precisos para la entrega exitosa de paquetes.

Para mejorar la calidad de tus direcciones, ejecuta una prueba A/B para evaluar qué solución de validación satisface mejor tus necesidades. Esto te brinda la oportunidad de decidir de forma cuantitativa qué producto se adapta mejor a tu caso de uso.

Una prueba A/B es una forma de comparar dos versiones de una página web o una app. Es un tipo de experimento controlado que se usa para determinar el efecto de un cambio en una variable sobre un resultado medible.
Para realizar una prueba A/B, crea dos versiones de una página o una app, una como control y la otra con el cambio medible. Luego, les muestras estas versiones a diferentes usuarios y mides cómo interactúan con ellas. La versión con mejor rendimiento es la ganadora.

Descripción general de la arquitectura del sistema

Veamos las pruebas A/B de la API de Address Validation en un caso de uso de comercio electrónico. En el siguiente diagrama de arquitectura, se muestra cómo un cliente interactuaría con tu experiencia de comercio, lo que te permite determinar la estrategia de validación más eficaz.

[Contexto del sistema] Prueba A/B de la API de Address Validation

Sistemas involucrados en la prueba A/B del valor de la API de Address Validation

El diagrama de arquitectura muestra a un cliente de tu sitio web de comercio electrónico que interactúa con el sistema de pruebas A/B. Este sistema toma la decisión de qué variable de prueba mostrarle al cliente, desde el sistema de software de la tienda de comercio electrónico. La tienda de comercio electrónico realiza una llamada a la API del sistema de software de Google Maps Platform. También recopila estadísticas de las pruebas A/B, que se procesan con un sistema de software de estadísticas y se envían de vuelta al sistema de pruebas A/B.

El proceso de pruebas A/B

Cuando piensas en el proceso general de las pruebas A/B, hay cuatro etapas que debes tener en cuenta.

  • Preparación: Identifica los requisitos, el alcance y el cronograma de las pruebas.
  • Compila: Implementa las APIs de Place Autocomplete y Address Validation en un entorno para ejecutar la prueba.
  • Ejecutar: Recopila métricas mientras se ejecuta la prueba, hasta que se obtienen resultados significativos o vence el tiempo.
  • Analizar: Compara los resultados con la hipótesis e identifica los próximos pasos.

Hablaremos de cada uno de ellos.

Prep.

Cómo decidir los requisitos de las pruebas A/B

Descubrimiento inicial

Pregúntate: ¿Por qué agregarás o cambiarás un proveedor de validación de direcciones? Por ejemplo, con Place Autocomplete de Google Maps:

  • Ahorra tiempo: No tienes que escribir el nombre completo de un lugar, ya que puedes comenzar a escribir y ver las sugerencias que aparecen.
  • Reduce los errores: Si escribes mal el nombre de un lugar, la función Autocomplete de Places de Google Maps seguirá sugiriendo el lugar correcto.

La validación de direcciones ofrece muchos beneficios, entre los que se incluyen los siguientes:

  • Mejora de los porcentajes de entrega: La validación de direcciones puede ayudar a mejorar los porcentajes de entrega, ya que garantiza que el correo y los paquetes se envíen a la dirección correcta. Esto puede ahorrarles tiempo y dinero a las empresas, y mejorar la satisfacción del cliente.
  • Mejora de la calidad de los datos: La validación de direcciones puede ayudar a mejorar la calidad de los datos, ya que identifica y corrige errores en las direcciones. Esto puede mejorar la precisión de las campañas de marketing y otras iniciativas basadas en datos.

Decisión sobre la hipótesis

Decide qué hipótesis probarás. Estos son dos ejemplos:

1. Porcentaje de conversiones

Cuando agregas una solución de escritura anticipada, es habitual observar un ligero aumento en los porcentajes de conversiones, y esta es una buena métrica para hacer un seguimiento. Si cambias tu solución de escritura predictiva de otro proveedor, debes esperar un porcentaje de conversiones uniforme. Si el porcentaje de conversiones disminuye, lo primero que debes verificar es la implementación.

El porcentaje de conversiones es importante, pero es posible que no refleje todo el panorama. Agregar una solución de validación de direcciones está diseñado para evitar que las personas envíen direcciones de baja calidad en el punto de entrada y puede agregar cierta fricción natural a la captura de direcciones en algunos casos. Esto podría generar una disminución en las tasas de conversión generales, pero no necesariamente debe considerarse algo negativo. Es posible que los pedidos incompletos debido a la incorporación de la validación de direcciones se hayan asociado con datos de direcciones de baja calidad que habrían generado un costo para la empresa a través de contracargos de envío.

2. Reducción de las direcciones de baja calidad

Aquí es donde una buena solución de validación de direcciones puede ser muy útil. Si implementas Address Validation, deberías observar una reducción en los datos de direcciones de baja calidad.

Si comparas una solución nueva con una existente, puede ser tentador comparar solo los porcentajes de coincidencias de "dirección válida" y seleccionar el servicio que proporcione un porcentaje de coincidencias más alto. Esto puede ser engañoso, ya que un servicio puede proporcionar más falsos positivos que el otro.

En cambio, la métrica más impactante es comparar el resultado exitoso del uso de los datos de la dirección. Si tomamos el comercio electrónico como ejemplo, el resultado deseado de capturar una dirección sería la entrega exitosa de un paquete.

Compilación

Ahora comienza la parte emocionante. Es hora de crear una nueva solución para tus clientes. Ya tenemos una guía práctica para implementar Place Autocomplete y la API de Address Validation en la confirmación de compra de un comercio electrónico. Te recomendamos que lo consultes mientras completas este paso.

Incluso si no creas contenido específicamente para el comercio electrónico, mucha de la información sigue siendo pertinente, en especial la orientación para determinar la calidad de la dirección a partir del resultado de la API de Address Validation.

Diagrama de arquitectura

A continuación, se muestra un ejemplo de los contenedores que se podrían usar para crear una prueba A/B en un entorno de comercio electrónico:

[Entorno de ejecución] Prueba A/B de Address Validation

Las aplicaciones, los servicios y los almacenes de datos importantes en los sistemas clave que potencian la arquitectura (Haz clic para agrandar la imagen).

El diagrama de arquitectura muestra los contenedores que componen el sistema de software de pruebas A/B y el sistema de software de la app de comercio electrónico. Muestra a un cliente de tu sitio web de comercio electrónico interactuando con un balanceador de cargas, que lo dirigirá a la app del sitio web de comercio electrónico. El Administrador de pruebas A/B se comunica con el balanceador de cargas para seleccionar la variable de la prueba A/B que se mostrará al cliente. Este sistema de pruebas A/B también registra los resultados y la configuración de la prueba A/B en una base de datos de tu elección. La app web de comercio electrónico realiza llamadas a la API del sistema de software de Google Maps Platform y también informa eventos de Analytics al sistema de software de Analytics, que registra los eventos de prueba en la base de datos de resultados de las pruebas A/B.

Valida la implementación

Una solución implementada de forma incorrecta producirá resultados de pruebas poco confiables. Antes de ejecutar la prueba A/B, es importante validar la solución con un grupo pequeño de usuarios para asegurarse de que funcione según lo previsto. Pueden ser verificadores de QA internos o un grupo seleccionado de verificadores externos en los que confíes para que te den comentarios constructivos.

Ejecutar

Aumenta el volumen lentamente

Incluso con la solución validada, sigue siendo una buena idea aumentar la prueba de forma gradual, comenzando con un grupo pequeño de usuarios. De esta manera, los errores o problemas se pueden detectar de forma anticipada y solucionar rápidamente sin afectar a un gran porcentaje de tus usuarios.

Prueba completa

Una vez que un grupo reducido de usuarios haya probado la solución y se hayan abordado todos los problemas, podemos aumentar la escala a una prueba A/B completa. No es necesario que sea una división del tráfico real del 50/50, pero debe ser comparable en tamaño con un conjunto seleccionado aleatoriamente de uso en vivo.

Captura de métricas

Durante la prueba, debes asegurarte de que se capturen los datos adecuados para respaldar tu hipótesis. Puedes usar una plataforma de pruebas A/B durante este proceso para facilitar la recopilación de datos y el análisis posterior. Google Maps Platform también recopila métricas de uso de la API que pueden ser útiles. Puedes consultar esta página para obtener más información sobre el uso de nuestras herramientas de informes.

Estas son algunas métricas sugeridas:

Place Autocomplete

Porcentaje de conversiones: ¿Mejoró el porcentaje de conversiones o de finalización de tu formulario en comparación con el período anterior en el que no tenías una solución de autocompletar?
Interacción con la herramienta: ¿Más usuarios interactúan correctamente con Place Autocomplete en comparación con la solución anterior?

Address Validation

Éxito de la entrega: ¿Se redujeron las entregas fallidas debido a la calidad de la dirección?
Cambios de dirección: ¿Se redujo la cantidad de cargos por cambios de dirección que recibiste de las empresas de mensajería?
Residencial vs. comercial: ¿Hubo una mejora en la captura de datos residenciales en comparación con los comerciales? (solo en mercados seleccionados)

Analizar

Ahora que finalizó la prueba, es momento de analizar los resultados en función de los criterios y la hipótesis originales. Si usaste una plataforma de pruebas A/B para completar el proceso, es posible que ya tengas disponible cierta información.

Volviendo a la sección sobre la reducción de direcciones de baja calidad anterior, también puedes usar otras métricas que la plataforma de pruebas A/B no haya capturado. Esta podría ser la tasa de entregas fallidas entre las situaciones de prueba, con datos de ejemplo como los siguientes:

Solución A Solución B
Entregas fallidas 1.75% 1.23%

Si observamos el ejemplo básico anterior, queda claro que, para este caso de uso, la solución B sería la mejor opción.

Conclusión

Esperamos que esta guía te haya brindado suficiente información para comenzar tu recorrido con las pruebas A/B. Si bien se usaron ejemplos del espacio del comercio electrónico, los mismos principios básicos se pueden aplicar en todos los ámbitos. Identifica el resultado exitoso de tener datos de dirección de buena calidad en tu empresa y haz un seguimiento de ese resultado como tu hipótesis principal.

A continuación, incluimos nuevamente los vínculos que se mencionan en la guía como lectura complementaria.

¡Éxitos con la prueba!

Próximos pasos

Descarga el Informe técnico sobre cómo optimizar la confirmación de compra, la entrega y las operaciones con direcciones confiables y mira el seminario web sobre cómo optimizar la confirmación de compra, la entrega y las operaciones con la Validación de direcciones .

Lecturas adicionales sugeridas:

Colaboradores

Autores principales:

Henrik Valve | Ingeniero de soluciones de Google Maps Platform