Orientações sobre testes de APIs de relevância

Antes de começar

• Essa publicação deve ser revisada com as orientações de teste da CMA: nota sobre experimentos (novembro de 2022), orientações para testes (junho de 2023) e outras orientações para testes (outubro de 2023).
• O objetivo deste documento é fornecer aos participantes do mercado orientações sobre os casos de uso, configuração, estrutura do experimento, metas e práticas recomendadas de avaliação da API Relevância.

Princípios de design de experimentos

Verifique se os grupos de teste e de controle estão bem definidos e medem as mesmas variáveis.

Atribuição e randomização de usuários

• Se não usar apenas grupos experimentais facilitados pelo Chrome (por exemplo, fazer o experimento em outro tráfego), garanta que as divisões de teste e controle dos usuários sejam aleatórias e imparciais. Independentemente da configuração do grupo experimental, avalie as características dos grupos de teste e de controle para garantir que os grupos de teste/controle sejam comparáveis. Consulte a Seção 15.
• Garantir que as características dos usuários dos grupos de teste e controle são as mesmas. Por exemplo, use regiões geográficas semelhantes nos grupos de teste e controle. Consulte a Seção 28.
• Usando o design experimental sugerido pela CMA, inclua três grupos experimentais: tratamento (APIs PS + outros sinais) + controle 1 (sem 3PCs + outros sinais) + controle 2 (sem 3PCs + sem APIs PS + outros indicadores). Consulte as Seções 10 a 14.
• A configuração precisa usar ao máximo os rótulos de teste facilitados pelo Chrome.
• O Chrome planeja excluir algumas instâncias do Chrome desses grupos experimentais por motivos legais, de UX e / ou técnicos. Isso inclui o Chrome Enterprise e outros. Essas exclusões serão idênticas para os modos A e B e, portanto, para o controle 1, controle 2 e tratamento. Por isso, você não deve comparar as métricas coletadas nos grupos experimentais com aquelas realizadas fora desses grupos.

Alinhamento de configuração entre grupos de teste e controle

• Verifique se os grupos de teste e controle estão usando uma configuração de campanha semelhante, incluindo inventário, formatos de anúncio, tipos de campanha e configurações de campanha semelhantes. Consulte a Seção 28.
• Exemplos específicos incluem: garantir que tipos de conversão semelhantes sejam medidos usando a mesma janela de atribuição e a mesma lógica de atribuição, que as campanhas segmentem públicos-alvo, grupos de interesse e regiões geográficas semelhantes e usem textos e formatos de anúncio semelhantes. Consulte a Seção 28.
• O ideal é que a DSP possa gerenciar relatórios e não precisar depender de uma empresa de terceiros que adicionaria uma camada de atribuição adicional. Se o cliente do DSP estiver usando uma empresa de terceiros para realizar a atribuição, esse terceiro deverá ser incluído nos planos de integração/teste e nos grupos de teste e controle.
• Garantir que cada campanha administrada por uma DSP participante tenha a mesma chance de participar de leilões dos grupos de tratamento e controle e que o comportamento dos lances em cada grupo não seja afetado pela presença dos outros grupos. Consulte a Seção 25.

Coleta e avaliação de métricas

• Antes de avaliar os resultados, verifique se a diferença nos resultados entre os grupos de teste e de controle é estatisticamente significativa. Consulte a Seção 25.
• Em todas as métricas, verifique se os outliers são avaliados. Especialmente para métricas de vendas ou retorno do investimento em publicidade (ROAS), a lógica de atribuição de toque único é muito propensa a outliers, que podem afetar drasticamente os resultados de uma maneira ou de outra. Consulte o Apêndice.Tabela 2.
• Se você estiver usando métodos que não sejam de terceiros para medir conversões (por exemplo, decoração de links, dados próprios e outros dados contextuais), garanta que eles sejam usados nos grupos de teste e de controle. Consulte as seções 13 e 14.
• Considere usar dois grupos experimentais diferentes, um para medir as APIs Relevância e outro para medir a API Attribution Reporting. Isso evita testes multivariáveis e facilita o entendimento da causa de suas observações. Para mais detalhes, consulte o guia de teste de medição e consulte a tabela de métodos recomendados por grupo experimental.

	Tratamento x Controle 1 Compara o estado final proposto com o estado atual.	Tratamento x Controle 2 Compara o estado final proposto sem APIs do PS.	Controle 2 x Controle 1 Compara a medição de conversões com e sem 3PCs, sem nenhuma API de PS.
Metodologia de medição	Para evitar testes multivariáveis, use dados da ARA e de terceiros para medir as métricas com base em conversão em ambos os grupos.	Para evitar testes multivariáveis, use somente dados que não sejam de 3PC para medir as métricas com base em conversão para ambos os grupos.	Para evitar testes multivariáveis, use somente dados que não sejam de 3PC para medir as métricas com base em conversão para ambos os grupos.

Diretrizes para implementação

Esta seção fornece orientações sobre casos de uso comuns para APIs de relevância, bem como as configurações mínimas ou ideais para a definição das APIs. É importante entender quais casos de uso são importantes para sua empresa e garantir que sua configuração esteja alinhada aos requisitos mínimos antes de prosseguir com a seção de configuração do experimento.

Casos de uso

Listamos alguns casos de uso comuns no espaço de relevância do anúncio. Os casos de uso podem envolver o uso de várias APIs de relevância, dependendo das necessidades de cada participante do mercado.

Prospecção ou reconhecimento da marca

• Mínimo
  • Use os indicadores da API Topics semanticamente como segmentos de público-alvo.
  • Use a API Protected Audience para criar segmentos de público-alvo adicionando visitantes de uma página da Web a um grupo de interesse que representa a categoria contextual do site.
• Ideal
  • Use a API Topics com outros indicadores particulares e duráveis, como dados próprios e contextuais, como recursos em modelos de aprendizado de máquina, para inferir segmentos de público-alvo para os usuários.
  • Use a API Protected Audience para criar segmentos de público-alvo adicionando visitantes de uma página da Web a um grupo de interesse com base em dados próprios, atividades específicas do usuário, tópicos ou outros indicadores de contexto.
  • Use a API Protected Audience para criar segmentos de público-alvo próprios que podem ser oferecidos para extensão de público-alvo para aumentar o alcance da campanha do anunciante.

Remarketing

• Crie segmentos de remarketing personalizados para um site com a API Protected Audience, criando grupos de interesse com base na atividade do usuário.

Configuração

API Topics

• Mínimo
  • A adtech (DSP) usa temas como indicadores na seleção de anúncios alinhados à orientação publicada Maximizar a relevância do anúncio sem cookies de terceiros. Esses indicadores podem ser resultado da chamada da API Topics pelo DSP, pelos indicadores de processamento fornecidos por uma SSP parceira ou por ambos.
  • (SSP) A adtech trabalha com uma porcentagem dos editores para incluir temas retornados pela API Topics no fluxo de lances, de acordo com a especificação de ORTB 2.x. Isso exige que as adtechs trabalhem com sites para fazer upgrade e implantar as bibliotecas necessárias (como dependências de lances de cabeçalho) para chamar a API Topics nesses sites.
  • A adtech (SSP) chama a API Topics em todo o tráfego em que a API está disponível para uso pela adtech. Devido ao requisito de filtragem por autor da chamada, a API precisa ser chamada por pelo menos três semanas para garantir a disponibilidade máxima. Para ajudar com isso, é apropriado começar a chamar a API Topics antes mesmo que os parceiros de DSP estejam prontos para começar a usar o indicador.
• Ideal
  • (DSP) Chame a API Topics em marcos significativos da jornada do consumidor em que a API esteja disponível para uso pela adtech. Use esses dados para treinamento de ML, por exemplo, associando tópicos a dados próprios e de atribuição relevantes.
  • (DSP) Explorar e introduzir recursos baseados em tópicos nos modelos de segmentação de ML para melhorar a segmentação de público-alvo. Execute a inferência de modelo no momento da segmentação para expandir possíveis temas de usuários. Corresponda tópicos inferidos com campanhas de anunciantes que segmentam esses segmentos de público-alvo.
  • (DSP) Explore e introduza recursos baseados em tópicos nos modelos de lances de ML para melhorar os modelos de taxa de cliques (CTR) e taxa de conversão (CVR) previstas.

Protected Audience

• (DSP) A Adtech implementa todas as dependências do lado do cliente para participar de leilões baseados na API Protected Audience.
  • Isso inclui dependências essenciais para a API Protected Audience, como o JavaScript da lógica de lances, além de módulos de integração e endpoints de relatórios.
• (DSP) Adtechs prontas para participar de leilões faturáveis baseados na API Protected Audience no primeiro e segundo trimestres de 2024.
  • Para isso, a adtech vai precisar identificar e coordenar com os sites e parceiros de teste das SSPs para alinhar metas, handshakes de integração e cronogramas de execução de testes completos.
• (DSP) A adtech está usando um servidor de chave-valor para recuperar indicadores em tempo real e gerar lances.
  • Isso vai exigir que a adtech identifique os principais casos de uso que exigem indicadores em tempo real, como interromper campanhas que gastaram todo o orçamento, e incorpore esses indicadores em tempo real no JavaScript da lógica de lances.
• A adtech (DSP) tem uma abordagem de alto nível para performance em leilões da Protected Audience.
  • Essa abordagem de alto nível consiste em três aspectos: medição do desempenho, análise de dados e refinamento iterativo da implementação para melhorar o desempenho.
• (SSP) Adtechs prontas para participar de leilões faturáveis da Protected Audience no primeiro e segundo trimestres de 2024.
  • Isso inclui a implementação e a implantação de dependências essenciais para a API Protected Audience, como o JavaScript da lógica de decisão, além de módulos de integração ou orquestração, adaptadores (como dependências de lances de cabeçalho) e endpoints de relatórios.
• (SSP) A adtech está usando um servidor de chave-valor para recuperar indicadores em tempo real para pontuar anúncios.
  • Isso vai exigir que a adtech identifique os principais casos de uso que exigem indicadores em tempo real, como atender aos requisitos de qualidade do anúncio, e incorpore esses indicadores em tempo real no JavaScript da lógica de decisão.
• (SSP) A adtech tem uma abordagem de alto nível para gerenciar os requisitos de escala e volume de tráfego para implantações de produção.
  • Para isso, a adtech vai precisar se coordenar com os parceiros de teste de DSP para identificar a intenção de participar de indicadores de origem e leilões específicos baseados na API Protected Audience

Metas de avaliação e configuração do experimento proposta

Para essa avaliação, recomendamos o uso dos rótulos de modo de teste facilitado pelo Chrome A e B.

Configuração do experimento proposta

• Use o design do experimento sugerido pela CMA, incluindo três grupos: (consulte as Seções 10 a 14):
  • Controle 1: tráfego no modo A, grupos control_1.* (3PCs + APIs do Sandbox de privacidade + outros indicadores)
  • Controle 2: grupo control_2 do modo B (sem 3PCs, sem APIs do Sandbox de privacidade + outros indicadores).
  • Tratamento: grupos de modo B treatment_1.* (sem 3PCs, com APIs do Sandbox de privacidade + outros sinais)
• Sabemos que os participantes do mercado usam vários outros indicadores, além dos 3PCs, para atribuir anúncios a solicitações de anúncios, como dados próprios do editor e informações contextuais. Se esses indicadores não forem afetados pelas mudanças propostas (a descontinuação dos 3PCs e a introdução das APIs do Sandbox de privacidade), eles vão precisar ser mantidos nos grupos de controle e de tratamento.
• Pode haver alguns 3PCs ainda disponíveis para alguns sites. Os testadores não podem usar esses 3PCs para casos de uso relevantes nos grupos Controle 2 e de tratamento. Esses dispositivos de terceiros foram projetados para lidar com falhas não relacionadas a anúncios.
• As APIs do Sandbox de privacidade vão estar disponíveis no controle 1, mas, conforme descrito nas orientações da CMA sobre testes do setor, os participantes não podem usar a API Topics nem realizar leilões de públicos-alvo protegidos para esse tráfego.
• Consulte os testes facilitados do Chrome para conferir os rótulos, tamanhos e características de cada grupo.

Metodologia de métrica proposta

• Não propomos nenhuma metodologia específica para coletar ou calcular métricas. No entanto, recomendamos que os testadores sejam transparentes quanto a essa metodologia. Isso permitirá que aqueles que analisam resultados de testes (ou seja, reguladores) fornecidos por diferentes empresas sejam informados sobre a variação e tomem decisões sobre como comparar resultados.
• Sabemos que a coleta de algumas métricas pode exigir o uso da agregação privada, com a qual alguns testadores talvez ainda não estejam integrados.
• Na medida do possível, os participantes poderiam informar métricas relacionadas à atividade de lances e ao interesse demonstrado pelos leilões, como o número de lances que chegaram aos leilões ou o valor médio do lance.

Grupo experimental	Tratamento	Controle 2	Controle 1
Modo de trânsito	Modo B (3PCD)	Modo B' (3PCD + PA + Supressão de temas)	Status Quo (sem 3PCD)
API Relevância aplicada	PA + tópicos +indicadores contextuais	Somente indicadores de contexto	Indicadores com base em cookies + indicadores de contexto

Meta 1 - (DSP) Medir o impacto do 3PCD na publicidade com base em interesses

Métricas

Inclua as principais métricas solicitadas pela CMA e, quando viável, considere incluir outras métricas que podem ser úteis, como:

• Número médio de temas recebidos: o número de temas recebidos em solicitações de lance. É uma medida da cobertura da API Topic.
• Tempo médio gasto: o tempo médio em que pelo menos 50% dos pixels de anúncios ficaram presentes na janela de visualização dos usuários depois que a renderização do anúncio foi iniciada. É uma medida do engajamento com o anúncio.
• Cliques por impressão (ou seja, taxa de cliques): é o número médio de cliques por impressão. Uma medida da relevância do anúncio.
• Cliques por dólar: o número médio de cliques por dólar. É uma medida da qualidade do anúncio recebida pelos anunciantes.
• Conversões por dólar: o número médio de conversões por dólar. É uma medida da qualidade do anúncio recebida pelos anunciantes.
• Taxa de conversão: o número médio de conversões por clique, mostrado como uma porcentagem. É uma medida da qualidade do tráfego recebida pelos anunciantes.
• Total de respostas de lances únicas: o número total de respostas de lances enviadas pela DSP. Essa é uma representação da demanda por serviços individuais de adtechs.
• Espectadores únicos: o número de usuários únicos alcançados pelo anúncio do anunciante. É uma medida de alcance.
• Taxas de visualizações completas: o tempo médio em que pelo menos 50% dos pixels do anúncio estiveram presentes na janela de visualização dos usuários durante toda a duração do anúncio em vídeo, depois que o vídeo for renderizado e começar a ser reproduzido. É uma medida do engajamento com o anúncio.

Pontos de análise sugeridos

• Os anunciantes conseguem alcançar o público-alvo na escala preferida?
• Como o engajamento e a interação com o anúncio são afetados pelas alterações?
• Como a qualidade do anúncio recebida pelos anunciantes foi afetada pela alteração?
• O anunciante consegue anunciar de maneira econômica? Em outras palavras, elas conseguem adquirir novos clientes a uma taxa inferior ao valor gerado por esses clientes durante um período razoável?
• Existem ressalvas notáveis que se deve considerar ao avaliar os resultados do experimento de um participante do mercado?
• Como os resultados se comparam aos testes anteriores realizados pelo participante do mercado, se houver?
• Quais são os possíveis fatores negativos que afetam o desempenho? Por outro lado, quais fatores impulsionam a performance?

Meta 2 - (DSP) Medir o impacto dos 3PCD no remarketing

Métricas

Inclua as principais métricas solicitadas pela CMA e, quando viável, considere incluir outras métricas que podem ser úteis, como:

• Tempo médio gasto: o tempo médio em que pelo menos 50% dos pixels de anúncios ficaram presentes na janela de visualização dos usuários depois que a renderização do anúncio foi iniciada. É uma medida do engajamento com o anúncio.
• Cliques por impressão (ou seja, taxa de cliques): é o número médio de cliques por impressão. Uma medida da relevância do anúncio.
• Cliques por dólar: o número médio de cliques por dólar. É uma medida da qualidade do anúncio recebida pelos anunciantes.
• Conversões por dólar: o número médio de conversões por dólar. É uma medida da qualidade do anúncio recebida pelos anunciantes.
• Taxa de conversão: o número médio de conversões por clique, mostrado como uma porcentagem. É uma medida da qualidade do tráfego recebida pelos anunciantes.
• Total de respostas de lances únicas: o número total de respostas de lances enviadas pela DSP. Essa é uma representação da demanda por serviços individuais de adtechs.
• Espectadores únicos: o número de usuários únicos alcançados pelo anúncio do anunciante. É uma medida de alcance.
• Taxas de visualizações completas: o tempo médio em que pelo menos 50% dos pixels do anúncio estiveram presentes na janela de visualização dos usuários durante toda a duração do anúncio em vídeo, depois que o vídeo for renderizado e começar a ser reproduzido. É uma medida do engajamento com o anúncio.

Pontos de análise sugeridos

• Os anunciantes conseguem alcançar o público-alvo na escala preferida?
• Como o engajamento e a interação com o anúncio são afetados pelas alterações?
• Como a qualidade do anúncio recebida pelos anunciantes foi afetada pela alteração?
• O anunciante consegue anunciar de maneira econômica? Em outras palavras, elas conseguem adquirir novos clientes a uma taxa inferior ao valor gerado por esses clientes durante um período razoável?
• Existem ressalvas notáveis que se deve considerar ao avaliar os resultados do experimento de um participante do mercado?
• Como os resultados se comparam aos testes anteriores realizados pelo participante do mercado, se houver?
• Quais são os possíveis fatores negativos que afetam o desempenho? Por outro lado, quais fatores impulsionam a performance?

Meta 3: (SSP) avaliar o impacto de 3PCD em leilões não facilitados pela API Protected Audience

Métricas

Inclua as principais métricas solicitadas pela CMA e outras métricas que podem ser úteis, como:

• % da mudança nos gastos planejados da campanha: os anunciantes gastam com as campanhas. É uma medida da adtech e da participação na receita dos editores.
• Número médio de tópicos enviados: o número médio de tópicos enviados em solicitações de lance. É uma medida da cobertura da API Topic.
• Latência do leilão: o tempo médio de execução de um leilão. Para SSPs, medidas a partir da primeira execução do código do lado do cliente da SSP até o momento em que o SSP seleciona um lance e o envia ao servidor de anúncios. Para servidores de anúncios, a medição vai desde a execução da tag de anúncio até o anúncio renderizado. É uma medida da rapidez com que o leilão é executado.
• Receita por impressão: é a receita média gerada por impressão. É uma medida da receita do editor.
• Total de solicitações de lance únicas: o número total de solicitações de lance únicas enviadas pelo SSP. Essa é uma representação da demanda por serviços individuais de adtechs.

Pontos de análise sugeridos

• Como as mudanças na latência afetam a capacidade de uma SSP de realizar um leilão? Como eles afetam a latência da página do editor?
• Como a receita do editor é afetada pela latência? Pelo número de tópicos enviados em solicitações de lance?
• Como a demanda pelos serviços de adtech das SSPs é afetada?
• As SSPs são capazes de gerar relatórios sobre os KPIs relacionados ao leilão que são importantes para os negócios do editor? Para as próprias empresas?
• Existem ressalvas notáveis que se deve considerar ao avaliar os resultados do experimento de um participante do mercado?
• Como os resultados se comparam aos testes anteriores realizados pelo participante do mercado, se houver?
• Quais são os possíveis fatores negativos que afetam o desempenho? Por outro lado, quais fatores impulsionam a performance?

Meta 4: (SSP) determinar a eficácia dos leilões da API Protected Audience

Métricas

Inclua as principais métricas solicitadas pela CMA e outras métricas que podem ser úteis, como:

• Latência do leilão: o tempo médio de execução de um leilão. Para SSPs, medidas a partir da primeira execução do código do lado do cliente da SSP, para informar o resultado. Para servidores de anúncios, a medição vai desde a execução da tag de anúncio até o anúncio renderizado. É uma medida da rapidez com que o leilão é executado.
• Receita por impressão: é a receita média gerada por impressão. É uma medida da receita do editor.
• Taxa de preenchimento: a taxa de preenchimento mede a porcentagem de solicitações de lance que uma SSP preenche com anúncios. Para calcular, divida o total de impressões de anúncios pelo número total de solicitações de lance de uma SSP.
• Taxa de tempo limite: porcentagem de leilões que não são concluídos devido ao alcance dos tempos limite configuráveis pela SSP.
• Total de solicitações de lance únicas: o número total de solicitações de lance únicas enviadas pelo SSP. Essa é uma representação da demanda por serviços individuais de adtechs.

Pontos de análise sugeridos

• Como as mudanças na latência afetam a capacidade de uma SSP de realizar um leilão? Como eles afetam a latência da página do editor?
• Como os tempos limite afetaram a capacidade das DSPs de dar lances?
• Como a receita do editor é afetada pela latência? Pelo número de tópicos enviados em solicitações de lance?
• Como a demanda pelos serviços de adtech das SSPs é afetada?
• As SSPs são capazes de gerar relatórios sobre os KPIs relacionados ao leilão que são importantes para os negócios do editor? Para as próprias empresas?
• Existem ressalvas notáveis que se deve considerar ao avaliar os resultados do experimento de um participante do mercado?
• Como os resultados se comparam aos testes anteriores realizados pelo participante do mercado, se houver?
• Quais são os possíveis fatores negativos que afetam o desempenho? Por outro lado, quais fatores impulsionam a performance?