Guía de pruebas de medición

El objetivo de esta guía es brindar orientación para ejecutar una prueba independiente de la API de Attribution Reporting de Privacy Sandbox. Para obtener más detalles, consulte la Sección 12.

  • La medición de los resultados del grupo de control y tratamiento en los diseños experimentales 1 y 2 de CMA se aborda en la guía para pruebas de las APIs de Relevant, ya que el objetivo de esos experimentos es probar la eficacia del uso de Protected Audience & Topics. Para obtener más detalles, consulte la Sección 11.

Antes de comenzar

Objetivos de la evaluación y configuración del experimento propuesto

Objetivo 1: Determinar la eficacia de la API de Attribution Reporting para los informes

Proponemos una configuración A/A para medir el impacto en los informes

  • Esta propuesta se ajusta a los lineamientos de la CMA sobre la evaluación de métricas basadas en conversiones. Para obtener más detalles, consulte el Artículo 21 y el Artículo 12.
  • Preferimos este método en lugar del Modo A/B porque la prueba de la API de Attribution Reporting (ARA) se puede realizar midiendo simultáneamente las conversiones en el mismo conjunto de impresiones con dos metodologías de medición diferentes (cookies de terceros + datos de cookies que no son de terceros y ARA + datos de cookies de terceros).
  • Un experimento A/A también aísla el impacto de la API de Attribution Reporting en la medición de conversiones (por ejemplo, evita cambios en los porcentajes de conversiones debido a la falta de cookies de terceros).

Puntos de análisis sugeridos

  • Elige una porción de tráfico que sea lo suficientemente grande para obtener resultados estadísticos significativos y que tenga cookies de terceros y APIs de Privacy Sandbox. Idealmente, es todo el tráfico, excepto el modo B (que inhabilita las cookies de terceros).
    • Te recomendamos excluir el modo B del experimento A/A, ya que las cookies de terceros no estarán disponibles y no podrás comparar los resultados de la ARA con los resultados de la atribución basada en cookies de terceros.
    • Si deseas incluir el modo B, debes considerar habilitar los informes de depuración para la porción de tráfico del modo B. Los informes de depuración te ayudarán a solucionar cualquier problema de implementación o configuración.
  • Si planeas realizar pruebas en una porción más pequeña de tráfico, esperamos que recibas resultados de la medición más ruidosos de lo esperado. Te recomendamos que tengas en cuenta en tu análisis qué fracción del tráfico se utilizó y si los resultados se basan en informes con ruido o en informes de depuración sin ruido.
    • En el caso de los informes de resumen, es probable que los valores de resumen sean más bajos, y el servicio de agregación agregará ruido de la misma distribución, independientemente del valor del resumen.
  • Probar diferentes metodologías de medición en esa porción de tráfico
    • Control 1: Usar las metodologías de medición actuales (cookies de terceros + datos de cookies de terceros)
    • (Opcional) Control 2: Sin Privacy Sandbox ni cookies de terceros, es decir, solo datos de cookies que no sean de terceros
      • Tenga en cuenta que podría haber algunas cookies de terceros disponibles en algunos sitios. Para obtener resultados más precisos, no use esas cookies de terceros para la medición en las metodologías Control 2 o Tratamiento
    • Tratamiento: APIs de Privacy Sandbox y datos de cookies de terceros
      • Tenga en cuenta que podría haber algunas cookies de terceros disponibles en algunos sitios. Para obtener resultados más precisos, no use esas cookies de terceros para la medición en las metodologías Control 2 o Tratamiento

Métricas

  • Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa la métrica y cómo se mide.
    • Te sugerimos que te enfoques en las dimensiones y métricas que son importantes para tus anunciantes. Por ejemplo, si tus anunciantes se enfocan en las conversiones por compras, mide la cantidad de conversiones de dichas conversiones y el valor de compra.
  • Es más conveniente trabajar con métricas basadas en recuentos o sumas (por ejemplo, porcentaje de conversiones), en lugar del costo por (por ejemplo, costo por conversión). En el caso del análisis A/A, las métricas de costos se pueden derivar completamente a partir de los valores de conversión de recuento o suma.
  • Especifica si las métricas se basan en informes de nivel del evento, informes de resumen o una combinación de ambos (y si se usaron informes de depuración).
  • Consulta las tablas de plantillas sugeridas para saber cómo dar formato a los comentarios cuantitativos.

Análisis

  • Cobertura:
    • ¿Puedes realizar mediciones en un conjunto similar de usuarios en comparación con las cookies de terceros? ¿Observas una mayor cobertura (por ejemplo, de la app a la Web)?
    • ¿Puedes medir las conversiones (y las dimensiones o métricas) que más les interesan a ti o a tus anunciantes?
  • Comentarios cuantitativos
    • Por ejemplo, en los informes del anunciante, ¿qué porcentaje de conversiones clave podrías registrar para ese anunciante o qué porcentaje de campañas cumple con el nivel de calidad de los informes (derivar una barra de calidad ayuda a ajustar las campañas con recuentos de conversiones bajos)?
    • Por ejemplo, desglosados por anunciante, ¿hay algunos anunciantes que dependen más o menos de las cookies de terceros para generar informes en la actualidad?
  • Otros comentarios cualitativos:
    • ¿Cómo afecta la ARA a la complejidad de la configuración de medición o atribución de los anunciantes?
    • ¿La ARA ayuda o dificulta que los anunciantes se enfoquen en las métricas y los objetivos que les interesan?

Tablas de plantillas sugeridas para el impacto de los informes

(Informes) Tabla 1:

Tabla de plantilla de ejemplo para informar los resultados experimentales a la CMA (tomado de la página 18, pero los verificadores deben considerar qué métricas son las más significativas o fáciles de proporcionar y adaptar la tabla según sea necesario).

Tratamiento frente a control 1
Compara el estado final propuesto con el estado actual 		Tratamiento frente a control 2
Se compara el estado final propuesto con ninguna API de PS. 		Control 2 en comparación con Control 1
Compara la medición de conversiones con cookies de terceros y sin ellas, sin ninguna API de PS.
Metodología de medición Comparar la medición de conversiones para Tratamiento (ARA con datos de cookies que no son de terceros) con el Control 1 (datos de cookies de terceros y de terceros) Comparar la medición de conversiones para Tratamiento (ARA con datos de cookies de terceros) con el Control 2 (solo datos de cookies de terceros) Compare la medición de conversiones para el Control 2 (solo datos de cookies de terceros) con el Control 1 (datos de cookies de terceros y de terceros)
Conversiones por dólar Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
Conversiones totales Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
Porcentaje de conversiones Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
(agregar tus propias métricas)
(Informes) Tabla 2:

Tabla de plantilla de ejemplo para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y control (tomada de la página 20, pero los verificadores deben considerar qué métricas son las más significativas o fáciles de proporcionar y adaptar la tabla según sea necesario).

Métrica Tratamiento
Medición de conversiones con la ARA y los datos de cookies que no sean de terceros 		Control 1
Medición de conversiones con cookies de terceros y cualquier dato de cookies de terceros que utilices 		Control 2
Medición de conversiones solo con datos de cookies que no sean de terceros
Conversiones por dólar Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentil 25 y 75 Percentil 25 y 75 Percentil 25 y 75
Conversiones totales Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentil 25 y 75 Percentil 25 y 75 Percentil 25 y 75
Porcentaje de conversiones Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentil 25 y 75 Percentil 25 y 75 Percentil 25 y 75
(agregar tus propias métricas)

Objetivo 2: Determinar la eficacia de la API de Attribution Reporting para la optimización de ofertas

Proponemos una configuración A/B para medir el impacto en la optimización de ofertas.

  • Para medir el impacto en la optimización de ofertas, deberás entrenar dos modelos de aprendizaje automático diferentes y usarlos en dos segmentos de tráfico: uno entrenado con las metodologías de medición actuales (cookies de terceros y datos de cookies de terceros) que se aplicarán al grupo de control y otro modelo entrenado en la API de Attribution Reporting y datos de cookies de terceros para aplicar al grupo de tratamiento.
  • El entrenamiento del modelo debe basarse en la cantidad de tráfico que el verificador considere necesario para maximizar el rendimiento, incluso si el grupo de tratamiento es una porción más pequeña de tráfico y hay una superposición entre las poblaciones de entrenamiento (por ejemplo, usa el modelo de cookies de terceros existente que entrena en todo el tráfico y entrena el modelo de la ARA en todo el tráfico de ARA habilitado para el objetivo 1).
    • Si envías los resultados a la CMA, ten en cuenta si hay una diferencia significativa entre las porciones de tráfico que se usan para entrenar distintos modelos (por ejemplo, si los modelos basados en cookies de terceros se entrenan con el 100% del tráfico, pero los modelos basados en la ARA solo se entrenan con el 1% del tráfico).
  • Si es posible, el entrenamiento de los modelos de ofertas de tratamiento y de control debe llevarse a cabo durante el mismo período.
  • Considera si debes entrenar y actualizar continuamente los modelos de ofertas durante el experimento y, si lo haces, si debes entrenar con la mayor cantidad de tráfico posible o solo con el tráfico de los grupos de tratamiento y de control.
  • Los diferentes modelos deben usarse en segmentos de tráfico inconexos como un experimento A/B. Para la aleatorización y asignación de usuarios en los grupos de tratamiento y de control, recomendamos usar grupos de navegadores etiquetados facilitados por Chrome (Modo A) o ejecutar tu propio experimento con conjuntos aleatorios de navegadores. No recomendamos usar el modo B, ya que la falta de cookies de terceros dificultará la generación de informes sobre las métricas basadas en conversiones.
    • Los grupos de navegadores facilitados por Chrome excluirán algunas instancias de Chrome, como los usuarios de Chrome Enterprise, en los que es posible que tus propios conjuntos aleatorios de navegadores no excluyan estas instancias de Chrome. Por lo tanto, debes ejecutar el experimento solo en grupos de modo A o solo en grupos que no sean de modo A o modo B para evitar comparar las métricas obtenidas en los grupos facilitados por Chrome con las métricas obtenidas fuera de los grupos facilitados por Chrome.
    • Si no usas grupos de navegadores etiquetados facilitados por Chrome (por ejemplo, si ejecutas un experimento en otro tráfico):
      • Garantizar que el grupo de tratamiento y control de los usuarios sea imparcial y aleatorizado. Sin importar la configuración del grupo experimental, evalúa las características de los grupos de tratamiento y de control para garantizar que los grupos de tratamiento y de control sean comparables. (Consulte la sección 15).
      • Asegúrate de que las características de los usuarios y las configuraciones de la campaña de los grupos de tratamiento y de control sean iguales (por ejemplo, usa ubicaciones geográficas similares en ambos grupos). (Consulte el Artículo 28).
        • Algunos ejemplos específicos son: Asegúrese de que los tipos de conversión similares se midan con la misma ventana y la misma lógica de atribución, y que las campañas se segmenten para públicos, grupos de intereses y ubicaciones geográficas similares, y usen textos de anuncio y formatos del anuncio similares.
      • Asegúrate de que los tamaños de la población inicial de los grupos de tratamiento y de control sean lo suficientemente grandes como para tener flexibilidad en las ofertas y la experimentación.
    • Si usas grupos de navegadores etiquetados facilitados por Chrome (Modo A), Chrome maneja la aleatorización de instancias del navegador Chrome para grupos. Como antes, se recomienda que verifiques que la aleatorización genere grupos imparciales o comparables para tus fines.

Puntos de análisis sugeridos

  • Te recomendamos definir los grupos de control y de tratamiento, y usar un modelo de aprendizaje automático diferente para optimizar las ofertas en cada grupo:
    • Control 1: Usar el modelo de optimización de ofertas entrenado en las metodologías de medición actuales (cookies de terceros + datos de cookies de terceros)
    • (opcional) Control 2: Usar el modelo de optimización de ofertas entrenado sin Privacy Sandbox y sin cookies de terceros, es decir, solo datos de cookies que no sean de terceros
      • Tenga en cuenta que algunas cookies de terceros podrían seguir disponibles en algunos sitios. Para obtener resultados más precisos, no use esas cookies de terceros para la medición en las metodologías Control 2 o Tratamiento.
    • Tratamiento - Usar el modelo de optimización de ofertas entrenado con la API de Attribution Reporting y los datos de cookies de terceros
      • Tenga en cuenta que algunas cookies de terceros podrían seguir disponibles en algunos sitios. Para obtener resultados más precisos, no use esas cookies de terceros para la medición en las metodologías Control 2 o Tratamiento.

Métricas

  • Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa la métrica y cómo se mide.
    • Por ejemplo, la métrica significativa podría ser la inversión (ingresos del publicador), que se alinea con los lineamientos de la CMA para comprender el impacto que tiene la baja de las cookies de terceros en los "Ingresos por impresión". Consulte el Artículo 19 para obtener más detalles.
  • Si genera informes sobre métricas basadas en conversiones, debe utilizar la misma metodología de medición para cada grupo, a fin de evitar las pruebas multivariables (probar el impacto en la optimización y los informes en un experimento). Consulta las tablas de plantillas sugeridas para saber cómo dar formato a los comentarios cuantitativos.
  • Considera otras maneras de recopilar métricas sobre el impacto de la optimización de las ofertas, por ejemplo, mediante la simulación de ofertas. ¿Existen métricas simuladas que podrían ser útiles para comprender el impacto de las cookies de terceros y la ARA en tus modelos de ofertas?
  • Especifica si las métricas se basan en informes de nivel del evento, informes de resumen o una combinación de ambos (y si se usaron informes de depuración).

Análisis

  • Cobertura:
    • ¿Puedes realizar mediciones en un conjunto similar de usuarios en comparación con las cookies de terceros? ¿Ves cambios en la cobertura (por ejemplo, con la transición de la app a la Web)?
    • ¿Puedes medir las conversiones (y las dimensiones/métricas) que más les interesan a ti o a tus anunciantes?
  • ¿Cómo afectarían las diferencias entre los grupos en los siguientes aspectos?
    • Los informes de anunciantes, por ejemplo, qué porcentaje de conversiones clave podrías registrar.
    • El entrenamiento y la optimización, por ejemplo, simulan el impacto de diferentes datos de conversiones en el rendimiento del modelo.
  • Otros comentarios cualitativos:
    • ¿Cómo afecta la ARA a la complejidad de la configuración de la optimización de ofertas de los anunciantes?
    • ¿La ARA ayuda o impide a los anunciantes centrarse en las métricas y los objetivos que les interesan?

Tablas de plantillas sugeridas para el impacto de las ofertas

(Ofertas) Tabla 1:

Tabla de plantilla de ejemplo de los resultados experimentales que los participantes del mercado deben enviar a la CMA (tomado de la página 18, pero los verificadores deben considerar qué métricas son las más significativas o fáciles de proporcionar y adaptar la tabla según sea necesario).

Tratamiento frente a control 1
Compara el estado final propuesto con el estado actual 		Tratamiento frente a control 2
Se compara el estado final propuesto con ninguna API de PS. 		Control 2 en comparación con Control 1
Compara la optimización de ofertas con cookies de terceros y sin ellas, sin ninguna API de PS.
Metodología de medición Para evitar las pruebas multivariables, utilice los datos de cookies de terceros y de terceros para medir las métricas basadas en conversiones de ambos grupos en cada experimento.
Ingresos por impresión Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
(Agrega tus propias métricas)
(Ofertas) Tabla 2:

Tabla de plantilla de ejemplo para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y control (tomada de la página 20, pero los verificadores deben considerar qué métricas son las más significativas o fáciles de proporcionar y adaptar la tabla según sea necesario).

Tratamiento
Optimización de ofertas con la ARA y los datos de cookies de terceros que utilices 		Control 1
Optimización de ofertas con cookies de terceros y los datos de cookies de terceros que utilices 		Control 2
Optimización de ofertas solo con datos de cookies de terceros
Metodología de medición Para evitar las pruebas multivariables, utilice datos de cookies de terceros y de terceros para medir las métricas basadas en conversiones en todos los grupos.
Ingresos por impresión Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentil 25 y 75 Percentil 25 y 75 Percentil 25 y 75
(agregar tus propias métricas)

Objetivo 3: Pruebas de carga del servicio de agregación

Consulta Framework de prueba de carga del servicio de agregación.