Guía de pruebas de las APIs de Relevant

Antes de comenzar

  • Esta publicación debe revisarse junto con la guía de pruebas de la CMA: Nota sobre experimentos (noviembre de 2022), Orientación para pruebas (junio de 2023) y Orientación adicional para pruebas (octubre de 2023).
  • El objetivo de este documento es brindar a los participantes del mercado orientación sobre los casos de uso, la configuración, la estructura del experimento, los objetivos y las prácticas recomendadas de evaluación de la API de Relevant para los participantes del mercado.

Principios de diseño de los experimentos

Asegúrate de que los grupos de prueba y de control estén bien definidos y midan las mismas variables.

Aleatorización y asignación de usuarios

  • Si no solo usa grupos experimentales facilitados por Chrome (por ejemplo, ejecutar el experimento en otro tráfico), asegúrese de que el grupo de prueba y control de los usuarios sea imparcial y aleatorio. Sin importar la configuración del grupo experimental, evalúa las características de los grupos de prueba y de control para asegurarte de que los grupos de prueba y control sean comparables. Consulte el Artículo 15.
  • Asegúrate de que las características del usuario de los grupos de prueba y de control sean las mismas (por ejemplo, usa ubicaciones geográficas similares en los grupos de prueba y de control). Consulte el Artículo 28.
  • Con el diseño de experimento sugerido por la CMA, incluye 3 grupos experimentales: tratamiento (APIs de PS y otros indicadores) + control 1 (sin 3PC + otros indicadores) + control 2 (sin 3PCs + APIs de PS + otros indicadores). Consulte las secciones 10-14.
  • Asegúrate de que tu configuración aproveche al máximo las etiquetas de prueba facilitadas por Chrome.
  • Ten en cuenta que Chrome planea excluir algunas instancias de Chrome de estos grupos experimentales por motivos legales, de UX o técnicos. Esto incluye Chrome Enterprise y otros. Estas exclusiones serán idénticas para los modos A y B y, por lo tanto, en los Controles 1, Control 2 y Tratamiento. Como consecuencia, no debes comparar las métricas obtenidas en grupos experimentales con métricas obtenidas fuera de estos grupos.

Alineación de configuración en grupos de prueba y control

  • Asegúrate de que los grupos de prueba y control utilicen una configuración de campaña comparable, lo que incluye inventario, formatos de anuncios, tipos de campañas y parámetros de configuración similares. Consulte el Artículo 28.
  • Algunos ejemplos específicos incluyen lo siguiente: asegurarse de que los tipos de conversión similares se midan con la misma ventana y la misma lógica de atribución, que las campañas se segmenten para públicos, grupos de interés y ubicaciones geográficas similares, y utilicen textos de anuncio y formatos de anuncio similares. Consulte el Artículo 28.
  • Idealmente, la DSP puede administrar la generación de informes sin depender de una empresa externa que pueda agregar una capa de atribución adicional. Si el cliente de la DSP utiliza una empresa externa para realizar la atribución, ese tercero debe incluirse en los planes de integración o de prueba y en los grupos de prueba y de control.
  • Asegúrese de que cada campaña administrada por una DSP participante tenga las mismas probabilidades de participar en las subastas de los grupos de control y de tratamiento, y de que el comportamiento de ofertas en cada grupo no se vea afectado por la presencia de los otros grupos. Consulte el Artículo 25.

Recopilación y evaluación de métricas

  • Antes de evaluar los resultados, asegúrate de que la diferencia entre los resultados entre los grupos de prueba y de control tenga importancia estadística. Consulte el Artículo 25.
  • Asegúrate de que se evalúen los valores atípicos para todas las métricas. Especialmente para las métricas de ventas o de retorno de la inversión del anunciante (ROAS), la lógica de atribución de un solo punto de contacto es muy propensa a los valores atípicos, que pueden afectar, de forma inadvertida, drásticamente los resultados en una forma o en la otra. Consulta: Apéndice.Tabla 2.
  • Si utilizas métodos ajenos a terceros para medir las conversiones (por ejemplo, decoración de vínculos, datos de origen, otros datos contextuales), asegúrate de que se utilicen tanto en grupos de prueba como en grupos de control. Consulte las secciones 13 y 14.
  • Considera utilizar dos grupos experimentales diferentes, uno para medir las APIs de relevancia y otro para medir la API de Attribution Reporting. Esto evita las pruebas multivariable y facilita la comprensión de la causa de tus observaciones. Para obtener más detalles, revisa la Guía de pruebas de medición y consulta la tabla de métodos de medición recomendados por grupo experimental.
Tratamiento frente a control 1
Compara el estado final propuesto con el estado actual. 		Tratamiento frente a control 2
Compara el estado final propuesto con ninguna API de PS. 		Control 2 en comparación con Control 1
Compara la medición de conversiones con 3PC y sin ellas, sin ninguna API de PS.
Metodología de medición Para evitar las pruebas multivariables, utiliza la ARA y los datos que no sean de 3PC para medir las métricas basadas en conversiones para ambos grupos. Para evitar las pruebas multivariables, utilice solo datos que no sean de 3PC para medir las métricas basadas en conversiones para ambos grupos. Para evitar las pruebas multivariables, utilice solo datos que no sean de 3PC para medir las métricas basadas en conversiones para ambos grupos.

Asesoramiento para la implementación

En esta sección, se proporciona orientación sobre casos de uso comunes para las APIs de relevancia, así como los parámetros de configuración mínimos u óptimos para configurar las APIs. Es importante comprender qué casos de uso son importantes para tu empresa y asegurarte de que la configuración se ajuste a los requisitos mínimos antes de avanzar con la sección de configuración del experimento.

Casos de uso

Aquí presentamos algunos casos de uso habituales en el espacio de relevancia del anuncio. Ten en cuenta que los casos de uso pueden implicar el uso de varias APIs de relevancia, según las necesidades de cada participante del mercado.

Reconocimiento o prospección de la marca

  • Mínimo
    • Utiliza los indicadores de Topics de manera semántica como segmentos de público.
    • Usa la API de Protected Audience para crear segmentos de público agregando visitantes de una página web a un grupo de interés que represente la categoría contextual de ese sitio.
  • Óptimo
    • Usa Topics junto con otros indicadores privados y duraderos, como datos contextuales y de origen, como funciones en los modelos de aprendizaje automático, con el fin de inferir segmentos de público para los usuarios.
    • Usa la API de Protected Audience para crear segmentos de público agregando visitantes de una página web a un grupo de interés en función de datos de origen, actividad específica del usuario, temas y otros indicadores contextuales.
    • Usa la API de Protected Audience para crear segmentos de público propios que se puedan ofrecer para la extensión de público y, así, aumentar el alcance de la campaña del anunciante.

Remarketing

  • Usa la API de Protected Audience para crear segmentos de remarketing personalizados para un sitio creando grupos de intereses que dependen de la actividad del usuario.

Configuración

API de Topics

  • Mínimo
    • (DSP) La tecnología publicitaria usa temas como indicadores en la selección de anuncios, alineado con la guía publicada Maximizar la relevancia de los anuncios sin cookies de terceros. Ten en cuenta que estos indicadores de Topics podrían ser el resultado de que la DSP llama a la API de Topics por sí mismo, de sus indicadores de Topics de procesamiento proporcionados por una SSP del socio, o ambos.
    • (SSP) La tecnología publicitaria trabaja con un porcentaje de sus publicadores para incluir los temas que muestra la API de Topics en el flujo de ofertas según la especificación ORTB 2.x, que requiere que la tecnología publicitaria trabaje con los sitios para actualizar e implementar las bibliotecas requeridas (como dependencias de ofertas de encabezado) para poder llamar a la API de Topics en esos sitios.
    • (SSP) La tecnología publicitaria llama a la API de Topics en todo el tráfico en el que la API está disponible para que la use la tecnología publicitaria. Debido al requisito de filtrado por llamador, se debe llamar a la API durante al menos 3 semanas para garantizar la máxima disponibilidad. Para ayudar con esto, es apropiado comenzar a llamar a la API de Topics incluso antes de que los socios de DSP estén listos para comenzar a usar el indicador.
  • Óptimo
    • (DSP) Llama a la API de Topics en eventos importantes del recorrido del consumidor en los que la API esté disponible para que la use la tecnología publicitaria. Usa estos datos para la capacitación del AA, por ejemplo, asociando temas con datos de atribución y de origen relevantes.
    • (DSP) Explora y agrega funciones basadas en temas en los modelos de segmentación de AA para mejorar la segmentación del público. Ejecuta la inferencia de modelo en el momento de la segmentación para ampliar los posibles temas de los usuarios. Haga coincidir los temas inferidos con las campañas publicitarias que se segmentan a esos segmentos de público.
    • (DSP) Explora y agrega funciones basadas en temas a los modelos de ofertas de AA para mejorar los modelos de tasa de clics (CTR) y porcentaje de conversiones (CVR) previstos.

Protected Audience

  • (DSP) La tecnología publicitaria implementa todas las dependencias del cliente para participar en subastas basadas en la API de Protected Audience.
    • Esto incluye las dependencias que son fundamentales para la API de Protected Audience (como la lógica de ofertas de JavaScript), así como los módulos de integración y los extremos de informes.
  • (DSP) Tecnología publicitaria lista para participar en subastas facturables basadas en la API de Protected Audience en el 1er y el 2o trimestre de 2024.
    • Esto requerirá que la tecnología publicitaria identifique y coordine con los socios y sitios de pruebas de la SSP para alinearse con los objetivos, los protocolos de enlace de integración y los cronogramas para ejecutar pruebas de extremo a extremo.
  • (DSP) La tecnología publicitaria usa un servidor de par clave-valor para recuperar indicadores en tiempo real a fin de generar ofertas.
    • Esto requerirá que la tecnología publicitaria identifique los casos de uso clave que requieran indicadores en tiempo real, como detener las campañas que hayan invertido todo su presupuesto, y que incorpore estos indicadores en tiempo real en su lógica de ofertas de JavaScript.
  • (DSP) La tecnología publicitaria tiene un enfoque de alto nivel para el rendimiento en las subastas de Protected Audience.
    • En términos generales, este enfoque de alto nivel consta de tres aspectos: medir el rendimiento, analizar los datos y definir mejor de manera iterativa la implementación para mejorar el rendimiento.
  • (SSP) Tecnología publicitaria lista para participar en subastas facturables de Protected Audience en el primer y segundo trimestre de 2024.
    • Esto incluye la implementación de dependencias que son fundamentales para la API de Protected Audience (como la lógica de decisión de JavaScript), así como de cualquier módulo de integración o de organización, adaptadores (como dependencias de ofertas de encabezado) y extremos de informes.
  • (SSP) La tecnología publicitaria usa un servidor de par clave-valor a fin de recuperar indicadores en tiempo real para calificar anuncios.
    • Esto requerirá que la plataforma de tecnología publicitaria identifique los casos de uso clave que requieran indicadores en tiempo real, como cumplir con los requisitos de calidad de los anuncios, y que incorpore estos indicadores en tiempo real en su lógica de decisión de JavaScript.
  • (SSP) La tecnología publicitaria tiene un enfoque de alto nivel para administrar los requisitos de escalamiento y volumen de tráfico para implementaciones de producción.
    • Esto requerirá que la tecnología publicitaria se coordine con sus socios de pruebas de DSP para obtener su intención de participar en indicadores fuente y subastas específicas basadas en la API de Protected Audience.

Objetivos de la evaluación y configuración del experimento propuesto

Para esta evaluación, recomendamos usar las etiquetas de los modos de prueba A y B facilitados por Chrome.

Configuración del experimento propuesto

  • Usa el diseño de experimento sugerido por la CMA, incluido 3 grupos: (consulta las secciones 10 a 14).
    • Control 1: Tráfico del modo A, control_1.* grupos (3PCs + APIs de Privacy Sandbox + otros indicadores)
    • Control 2: Grupo control_2 del modo B (sin 3PCs, sin APIs de Privacy Sandbox ni otros indicadores).
    • Tratamiento: Tratamiento del modo B_1.* grupos (sin 3PCs, con APIs de Privacy Sandbox y otros SIgnals)
  • Comprendemos que los participantes del mercado utilizan una variedad de otros indicadores además de las terceros para asignar anuncios a las solicitudes de anuncios, como los datos de origen del publicador y la información contextual. En la medida en que estos indicadores no se vean afectados por los cambios propuestos (la baja de las 3PC y la introducción de las APIs de Privacy Sandbox), estos se deben conservar tanto en el grupo de control como en el de tratamiento.
  • Tenga en cuenta que podría haber algunas 3PC aún disponibles para algunos sitios. Los verificadores no deben usar esas 3PC en casos de uso relevantes en los grupos de control 2 o de tratamiento. Esas 3PC están diseñadas para abordar fallas que no sean publicitarias.
  • Ten en cuenta que las APIs de Privacy Sandbox estarán disponibles en el control 1, pero, como se describe en la guía de la CMA sobre pruebas de la industria, los participantes de las pruebas no deben usar la API de Topics ni ejecutar subastas de Protected Audience para este tráfico.
  • Consulta Pruebas facilitadas por Chrome para conocer las etiquetas, los tamaños y las características de cada grupo.

Metodología de métrica propuesta

  • No proponemos ninguna metodología específica para recopilar o calcular métricas. Sin embargo, recomendamos que los verificadores proporcionen transparencia respecto de esa metodología. Esto permitirá que quienes analicen los resultados de las pruebas (es decir, los reguladores) que proporcionen las distintas empresas reciban información sobre la varianza y tomen decisiones sobre cómo comparar resultados.
  • Reconocemos que es posible que la recopilación de ciertas métricas requiera el uso de la agregación privada, con la que algunos verificadores aún podrían no estar integrados al momento de la prueba.
  • En la medida de lo posible, los participantes podrían informar métricas relacionadas con la actividad de ofertas y el interés que generan las subastas, como la cantidad de ofertas que llegaron a las subastas o el valor promedio de la oferta.
Grupo experimental Tratamiento Control 2 Control 1
Modo de tráfico Modo B (3PCD) Modo B' (3PCD + PA + supresión de Topics) Status Quo (sin 3PCD)
Se aplicó la API de Relevant. PA+Temas +indicadores contextuales Solo indicadores contextuales Indicadores basados en cookies + indicadores contextuales

Objetivo 1: (DSP) Medir el impacto de los terceros en la publicidad basada en intereses

Métricas

Incluye las métricas clave solicitadas por la CMA y, cuando sea posible, considera incluir otras métricas que puedan resultar útiles, como las siguientes:

  • Cantidad promedio de temas recibidos: Indica la cantidad de temas recibidos en las solicitudes de oferta. Es una medida de la cobertura de la API de Topics.
  • Tiempo promedio de uso: Es el tiempo promedio durante el cual, al menos, el 50% de los píxeles de los anuncios estuvieron presentes en el viewport de los usuarios, después de que el anuncio comenzó a renderizarse. Es una medida de la participación del anuncio.
  • Clics por impresión (también conocida como tasa de clics): Es la cantidad promedio de clics por impresión. Es una medida de la relevancia del anuncio.
  • Clics por dólar: la cantidad promedio de clics por dólar. Es una medida de la calidad del anuncio que reciben los anunciantes.
  • Conversiones por dólar: Es la cantidad promedio de conversiones por dólar. Es una medida de la calidad del anuncio que reciben los anunciantes.
  • Porcentaje de conversiones: Es la cantidad promedio de conversiones por clic, que se muestra como un porcentaje. Es una medida de la calidad del tráfico que reciben los anunciantes.
  • Total de respuestas a la oferta única: Es la cantidad total de respuestas a la oferta que envía la DSP. Esto es un proxy de la demanda de servicios de tecnologías publicitarias individuales.
  • Espectadores únicos: Indica la cantidad de usuarios únicos a los que llegó el anuncio del anunciante. Es una medida del alcance.
  • Tasas de finalización de video: Es el tiempo promedio durante el cual, al menos, el 50% de los píxeles de los anuncios estuvieron presentes en el viewport de los usuarios durante todo el anuncio de video, después de que el video se renderizó y comenzó a reproducirse. Es una medida de la participación del anuncio.

Puntos de análisis sugeridos

  • ¿Los anunciantes pueden llegar a su público objetivo a la escala preferida?
  • ¿Cómo afectan los cambios la participación y la interacción con los anuncios?
  • ¿Cómo afecta el cambio la calidad del anuncio que reciben los anunciantes?
  • ¿El anunciante puede anunciar de manera rentable? En otras palabras, ¿puede adquirir clientes nuevos a una tasa menor que el valor generado por esos clientes durante un período razonable?
  • ¿Hay alguna advertencia notable que se debe tener en cuenta al evaluar los resultados del experimento de un participante del mercado?
  • ¿Cómo se comparan los resultados con pruebas anteriores realizadas por el participante del mercado, si corresponde?
  • ¿Cuáles son los posibles obstáculos que afectan el rendimiento? Por el contrario, ¿cuáles son los factores que impulsan el rendimiento?

Objetivo 2: Medición del impacto de los terceros en el remarketing (DSP)

Métricas

Incluye las métricas clave solicitadas por la CMA y, cuando sea posible, considera incluir otras métricas que puedan resultar útiles, como las siguientes:

  • Tiempo promedio de uso: Es el tiempo promedio durante el cual, al menos, el 50% de los píxeles de los anuncios estuvieron presentes en el viewport de los usuarios, después de que el anuncio comenzó a renderizarse. Es una medida de la participación del anuncio.
  • Clics por impresión (también conocida como tasa de clics): Es la cantidad promedio de clics por impresión. Es una medida de la relevancia del anuncio.
  • Clics por dólar: la cantidad promedio de clics por dólar. Es una medida de la calidad del anuncio que reciben los anunciantes.
  • Conversiones por dólar: Es la cantidad promedio de conversiones por dólar. Es una medida de la calidad del anuncio que reciben los anunciantes.
  • Porcentaje de conversiones: Es la cantidad promedio de conversiones por clic, que se muestra como un porcentaje. Es una medida de la calidad del tráfico que reciben los anunciantes.
  • Total de respuestas a la oferta única: Es la cantidad total de respuestas a la oferta que envía la DSP. Esto es un proxy de la demanda de servicios de tecnologías publicitarias individuales.
  • Espectadores únicos: Indica la cantidad de usuarios únicos a los que llegó el anuncio del anunciante. Es una medida del alcance.
  • Tasas de finalización de video: Es el tiempo promedio durante el cual, al menos, el 50% de los píxeles de los anuncios estuvieron presentes en el viewport de los usuarios durante todo el anuncio de video, después de que el video se renderizó y comenzó a reproducirse. Es una medida de la participación del anuncio.

Puntos de análisis sugeridos

  • ¿Los anunciantes pueden llegar a su público objetivo a la escala preferida?
  • ¿Cómo afectan los cambios la participación y la interacción con los anuncios?
  • ¿Cómo afecta el cambio la calidad del anuncio que reciben los anunciantes?
  • ¿El anunciante puede anunciar de manera rentable? En otras palabras, ¿puede adquirir clientes nuevos a una tasa menor que el valor generado por esos clientes durante un período razonable?
  • ¿Hay alguna advertencia notable que se debe tener en cuenta al evaluar los resultados del experimento de un participante del mercado?
  • ¿Cómo se comparan los resultados con pruebas anteriores realizadas por el participante del mercado, si corresponde?
  • ¿Cuáles son los posibles obstáculos que afectan el rendimiento? Por el contrario, ¿cuáles son los factores que impulsan el rendimiento?

Objetivo 3: (SSP) Medir el impacto de 3PCD en las subastas no facilitadas por la API de Protected Audience

Métricas

Incluye métricas clave solicitadas por la CMA y otras métricas que puedan ser útiles, como las siguientes:

  • Porcentaje de cambio en la inversión planificada de la campaña: Los anunciantes invierten en las campañas. Es una medida de tecnología publicitaria y de porcentaje de ingresos de los publicadores.
  • Cantidad promedio de temas enviados: Indica la cantidad promedio de temas enviados en las solicitudes de oferta. Es una medida de la cobertura de la API de Topics.
  • Latencia de la subasta: Es el tiempo promedio durante el cual se ejecuta una subasta. Para las SSP, se miden desde la primera ejecución del código del cliente de la SSP hasta el momento en que la SSP selecciona una oferta y la envía al servidor de anuncios. Para servidores de anuncios, medición desde la ejecución de la etiqueta de anuncio hasta el anuncio renderizado. Mide qué tan rápida se ejecuta la subasta.
  • Ingresos por impresión: Indica los ingresos promedio generados por impresión. Es una medida de los ingresos del publicador.
  • Total de solicitudes de ofertas únicas: Es la cantidad total de solicitudes de ofertas únicas que envía la SSP. Esto es un proxy de la demanda de servicios de tecnologías publicitarias individuales.

Puntos de análisis sugeridos

  • ¿Cómo afectan los cambios en la latencia a la capacidad de una SSP para ejecutar una subasta? ¿Cómo afectan la latencia de la página del publicador?
  • ¿Cómo afecta la latencia a los ingresos del publicador? ¿Según la cantidad de temas enviados en las solicitudes de oferta?
  • ¿Cómo se ve afectada la demanda de los servicios de tecnología publicitaria de las SSP?
  • ¿Las SSP pueden generar informes sobre los KPI relacionados con la subasta que son importantes para las empresas del publicador? ¿Para sus propios negocios?
  • ¿Hay alguna advertencia notable que se debe tener en cuenta al evaluar los resultados del experimento de un participante del mercado?
  • ¿Cómo se comparan los resultados con pruebas anteriores realizadas por el participante del mercado, si corresponde?
  • ¿Cuáles son los posibles obstáculos que afectan el rendimiento? Por el contrario, ¿cuáles son los factores que impulsan el rendimiento?

Objetivo 4: Determinar la eficacia de las subastas de la API de Protected Audience (SSP)

Métricas

Incluye métricas clave solicitadas por la CMA y otras métricas que puedan ser útiles, como las siguientes:

  • Latencia de la subasta: Es el tiempo promedio durante el cual se ejecuta una subasta. Para las SSP, se mide desde la primera ejecución del código del cliente de la SSP, para informar el resultado. Para servidores de anuncios, medición desde la ejecución de la etiqueta de anuncio hasta el anuncio renderizado. Mide qué tan rápida se ejecuta la subasta.
  • Ingresos por impresión: Indica los ingresos promedio generados por impresión. Es una medida de los ingresos del publicador.
  • Tasa de relleno: La tasa de relleno mide el porcentaje de solicitudes de oferta que una SSP completa correctamente con anuncios. Para calcular este valor, divide el total de impresiones de anuncios por el número total de solicitudes de oferta de una SSP.
  • Tasa de tiempo de espera: Es el porcentaje de subastas que no se completan debido a que se alcanzan los tiempos de espera configurables por la SSP.
  • Total de solicitudes de ofertas únicas: Es la cantidad total de solicitudes de ofertas únicas que envía la SSP. Esto es un proxy de la demanda de servicios de tecnologías publicitarias individuales.

Puntos de análisis sugeridos

  • ¿Cómo afectan los cambios en la latencia a la capacidad de una SSP para ejecutar una subasta? ¿Cómo afectan la latencia de la página del publicador?
  • ¿De qué manera los tiempos de espera afectaron la capacidad de las DSP para ofertar?
  • ¿Cómo afecta la latencia a los ingresos del publicador? ¿Según la cantidad de temas enviados en las solicitudes de oferta?
  • ¿Cómo se ve afectada la demanda de los servicios de tecnología publicitaria de las SSP?
  • ¿Las SSP pueden generar informes sobre los KPI relacionados con la subasta que son importantes para las empresas del publicador? ¿Para sus propios negocios?
  • ¿Hay alguna advertencia notable que se debe tener en cuenta al evaluar los resultados del experimento de un participante del mercado?
  • ¿Cómo se comparan los resultados con pruebas anteriores realizadas por el participante del mercado, si corresponde?
  • ¿Cuáles son los posibles obstáculos que afectan el rendimiento? Por el contrario, ¿cuáles son los factores que impulsan el rendimiento?