Indicazioni per il test delle API di pertinenza

Prima di iniziare

  • Questa pubblicazione deve essere esaminata insieme alle linee guida sui test della CMA: nota sugli esperimenti (novembre 2022), linee guida sui test (giugno 2023) e linee guida aggiuntive sui test (ottobre 2023).
  • L'obiettivo di questo documento è fornire ai partecipanti al mercato indicazioni sui casi d'uso, sulla configurazione, sulla struttura dell'esperimento, sugli obiettivi e sulle best practice di valutazione per i partecipanti di mercato.

Principi di progettazione degli esperimenti

Assicurati che i gruppi di test e controllo siano ben definiti e misurino le stesse variabili.

Assegnazione casuale e assegnazione utente

  • Se non utilizzi solamente gruppi sperimentali facilitati da Chrome (ad esempio, esegui l'esperimento su un altro traffico), assicurati che la suddivisione degli utenti per il test e il controllo sia casuale e imparziale. Indipendentemente dalla configurazione del gruppo sperimentale, valuta le caratteristiche dei gruppi di test e di controllo per garantire che i gruppi di test/controllo siano comparabili. Consulta la Sezione 15.
  • Assicurati che le caratteristiche degli utenti dei gruppi di test e di controllo siano le stesse (ad esempio, utilizza dati geografici simili nei gruppi di test e di controllo). Consulta la Sezione 28.
  • Utilizzando il design dell'esperimento suggerito dalla CMA, includi 3 gruppi sperimentali: sperimentale (API PS + altri indicatori) + controllo 1 (nessun 3 PC + altri indicatori) + controllo 2 (nessun 3 PC + nessuna API PS + altri indicatori). Consulta le sezioni 10-14.
  • Assicurati che la tua configurazione utilizzi il più possibile le etichette di test agevolate da Chrome.
  • Tieni presente che Chrome prevede di escludere alcune istanze di Chrome da questi gruppi sperimentali per motivi legali, UX e / o tecnici. Sono inclusi Chrome Enterprise e altri. Queste esclusioni saranno identiche per la Modalità A e la Modalità B, quindi nel Controllo 1, nel Controllo 2 e nel Trattamento. Di conseguenza, non confrontare le metriche ottenute sui gruppi sperimentali con metriche ottenute al di fuori di questi gruppi.

Allineamento della configurazione nei gruppi di test e di controllo

  • Assicurati che i gruppi di test e controllo utilizzino una configurazione della campagna paragonabile, tra cui inventario, formati degli annunci, tipi di campagna e impostazioni della campagna simili. Consulta la Sezione 28.
  • Ecco alcuni esempi specifici: garantire che tipi di conversione simili vengano misurati utilizzando la stessa finestra di attribuzione e la stessa logica di attribuzione, le campagne hanno come target segmenti di pubblico, gruppi di interesse e dati geografici simili e utilizzano testi pubblicitari e formati degli annunci simili. Consulta la Sezione 28.
  • Idealmente, la DSP può gestire i report e non dover fare affidamento su una società di terze parti che potrebbe aggiungere un ulteriore livello di attribuzione. Se il cliente del DSP utilizza una società di terze parti per eseguire l'attribuzione, questa deve essere inclusa nei piani di integrazione/test e nei gruppi di test e di controllo.
  • Assicurati che ogni campagna gestita da una DSP partecipante abbia le stesse probabilità di partecipare alle aste all'interno dei gruppi sperimentali e di controllo e che il comportamento delle offerte in ciascun gruppo non sia influenzato dalla presenza degli altri gruppi. Consulta la Sezione 25.

Raccolta e valutazione delle metriche

  • Prima di valutare i risultati, assicurati che la differenza nei risultati tra i gruppi di test e quelli di controllo sia statisticamente significativa. Consulta la Sezione 25.
  • Per tutte le metriche, assicurati che i valori anomali vengano valutati. In particolare per le metriche relative alle vendite o al ritorno sulla spesa pubblicitaria (ROAS), la logica di attribuzione single-touch è molto incline a valori anomali, che possono inavvertitamente influire drasticamente sui risultati in un modo o nell'altro. Consulta la Appendice.Tabella 2.
  • Se utilizzi metodi diversi da terze parti per misurare le conversioni (ad es. decorazione di link, dati proprietari o altri dati contestuali), assicurati che vengano utilizzati sia nei gruppi di test che in quelli di controllo. Consulta le sezioni 13 e 14.
  • Valuta la possibilità di utilizzare due diversi gruppi sperimentali, uno per misurare le API Pertinenza e un altro per misurare l'API Attribution Reporting. In questo modo si evitano i test multivariati e si facilita la comprensione della causa delle osservazioni. Per ulteriori dettagli, consulta la guida ai test di misurazione e consulta la tabella dei metodi di misurazione consigliati per gruppo sperimentale.
Trattamento e controllo 1
Confronta lo stato finale proposto con lo stato attuale. 		Trattamento e controllo 2
Confronta lo stato finale proposto senza alcuna API PS. 		Controllo 2 rispetto al gruppo di controllo 1
Confronta la misurazione delle conversioni con e senza tre PC, senza API PS.
Metodologia di misurazione Per evitare i test multivariati, utilizza i dati ARA e non 3PC per misurare le metriche basate sulle conversioni per entrambi i gruppi. Per evitare i test multivariati, utilizza solo dati non di terze parti per misurare le metriche basate sulle conversioni per entrambi i gruppi. Per evitare i test multivariati, utilizza solo dati non di terze parti per misurare le metriche basate sulle conversioni per entrambi i gruppi.

Linee guida per l'implementazione

Questa sezione fornisce indicazioni sui casi d'uso comuni per le API di pertinenza, nonché sulle configurazioni minime o ottimali per la configurazione delle API. Prima di passare alla sezione per la configurazione degli esperimenti, è importante capire quali casi d'uso sono importanti per la tua attività e assicurarti che la configurazione sia in linea con i requisiti minimi.

casi d'uso

Abbiamo elencato alcuni casi d'uso comuni all'interno dello spazio relativo alla pertinenza degli annunci. Tieni presente che i casi d'uso possono comportare l'utilizzo di più API di pertinenza, a seconda delle esigenze dei singoli partecipanti al mercato.

Notorietà del brand o individuazione di potenziali clienti

  • Minimo
    • Usa gli indicatori di Topics semanticamente come segmenti di pubblico.
    • Utilizza l'API Protected Audience per creare segmenti di pubblico aggiungendo i visitatori di una pagina web a un gruppo di interesse che rappresenta la categoria contestuale del sito.
  • Ottima
    • Utilizza gli argomenti insieme ad altri indicatori privati e durevoli, come i dati proprietari e contestuali, come funzionalità nei modelli di machine learning, al fine di dedurre i segmenti di pubblico per gli utenti.
    • Utilizza l'API Protected Audience per creare segmenti di pubblico aggiungendo i visitatori di una pagina web a un gruppo di interesse in base a dati proprietari, attività utente specifiche, argomenti o altri indicatori di contesto.
    • Utilizza l'API Protected Audience per creare segmenti di pubblico proprietari che possono essere offerti per l'estensione del pubblico al fine di aumentare la copertura della campagna dell'inserzionista.

Remarketing

  • Utilizza l'API Protected Audience per creare segmenti di remarketing personalizzati per un sito creando gruppi di interesse che dipendono dall'attività utente.

Configurazione

API Topics

  • Minimo
    • (DSP) utilizza gli argomenti come indicatori nella selezione degli annunci in linea con la pubblicazione Massimizza la pertinenza degli annunci senza indicazioni sui cookie di terze parti. Tieni presente che questi indicatori di Topics potrebbero derivare dalla DSP che chiama l'API Topics, dall'elaborazione degli indicatori di Topics forniti da una SSP del partner o da entrambi.
    • (SSP) Ad tech collabora con una percentuale dei suoi publisher per includere gli argomenti restituiti dall'API Topics nel flusso di offerta secondo la specifica ORTB 2.x, il che richiede che la tecnologia pubblicitaria collabori con i siti per eseguire l'upgrade e il deployment di eventuali librerie richieste (ad esempio le dipendenze delle offerte su intestazioni) per poter chiamare l'API Topics su quei siti.
    • (SSP) La tecnologia pubblicitaria chiama l'API Topics su tutto il traffico in cui l'API è disponibile per essere utilizzata da questa tecnologia. A causa del requisito di filtro per chiamante, l'API deve essere chiamata per almeno tre settimane per garantire la massima disponibilità. Per facilitare questa operazione, è opportuno iniziare a chiamare l'API Topics ancora prima che i partner DSP siano pronti per iniziare a utilizzare l'indicatore.
  • Ottima
    • Chiama l'API Topics in occasione di traguardi significativi del percorso del consumatore in cui l'API è disponibile per l'uso da parte della tecnologia pubblicitaria. Utilizza questi dati per l'addestramento ML, ad esempio, associando gli argomenti a dati proprietari e di attribuzione pertinenti.
    • (DSP) Esplora e introduci funzionalità basate su argomenti nei modelli di targeting ML per migliorare la segmentazione del pubblico. Esegui l'inferenza del modello al momento del targeting per espandere i possibili argomenti degli utenti. Abbina gli argomenti dedotti alle campagne degli inserzionisti che hanno come target questi segmenti di pubblico.
    • (DSP) Esplora e introduci funzionalità basate su argomenti nei modelli di offerta ML per migliorare i modelli previsti per percentuale di clic (CTR) e tasso di conversione (CVR).

Protected Audience

  • (DSP) La tecnologia pubblicitaria implementa tutte le dipendenze lato client per partecipare alle aste basate sull'API Protected Audience.
    • Sono incluse le dipendenze fondamentali dell'API Protected Audience (ad esempio il codice JavaScript della logica di offerta), nonché eventuali moduli di integrazione ed endpoint di reporting.
  • (DSP) Ad tech pronta a partecipare alle aste fatturabili basate sull'API Protected Audience nel primo e secondo trimestre del 2024.
    • Ciò richiederà all'ad tech di identificare e coordinarsi con i siti e i partner di test della SSP per allinearsi a obiettivi, handshake di integrazione e tempistiche per l'esecuzione dei test end-to-end.
  • (DSP) La tecnologia pubblicitaria utilizza un server chiave-valore per recuperare indicatori in tempo reale per la generazione di offerte.
    • Ciò richiederà alla tecnologia pubblicitaria di identificare i casi d'uso chiave che richiedono indicatori in tempo reale, come l'interruzione di campagne che hanno speso l'intero budget, e incorporare questi indicatori in tempo reale nel loro codice JavaScript della logica di offerta.
  • (DSP) Ad tech ha un approccio di alto livello per il rendimento nelle aste Protected Audience.
    • Questo approccio generale è costituito in gran parte da tre aspetti: la misurazione del rendimento, l'analisi dei dati e il perfezionamento iterativo dell'implementazione per migliorare il rendimento.
  • (SSP) Tecnologia pubblicitaria pronta a partecipare alle aste fatturabili di Protected Audience nel primo e secondo trimestre del 2024.
    • Ciò include l'implementazione e il deployment delle dipendenze fondamentali per l'API Protected Audience (ad esempio il codice JavaScript della logica di decisione), nonché qualsiasi modulo di integrazione o orchestrazione, adattatori (ad esempio le dipendenze per le offerte su intestazioni) ed endpoint dei report.
  • (SSP) La tecnologia pubblicitaria utilizza un server valore-chiave per recuperare indicatori in tempo reale per la valutazione degli annunci.
    • Ciò richiederà alla tecnologia pubblicitaria di identificare i casi d'uso chiave che richiedono indicatori in tempo reale, come il rispetto dei requisiti di qualità degli annunci, e di incorporare questi indicatori in tempo reale nel loro codice JavaScript decisionale.
  • (SSP) Ad tech ha un approccio di alto livello per la gestione dei requisiti di scalabilità e volume di traffico per le implementazioni di produzione.
    • Ciò richiederà alla tecnologia pubblicitaria di coordinarsi con i suoi partner per i test DSP per dimostrare l'intenzione di partecipare a specifiche aste basate sull'API Protected Audience e indicatori di origine

Obiettivi di valutazione e configurazione dell'esperimento proposto

Per questa valutazione, consigliamo di utilizzare le etichette della Modalità A e B di test facilitato da Chrome.

Configurazione dell'esperimento proposto

  • Utilizza il progetto dell'esperimento suggerito dalla CMA, includendo 3 gruppi: (consulta le sezioni 10-14)
    • Controllo 1: traffico in modalità A, gruppi di controllo_1.* (3 PC + API Privacy Sandbox + altri indicatori)
    • Controllo 2: gruppo controllo_2 modalità B (nessun 3PC + nessuna API Privacy Sandbox + altri indicatori).
    • Trattamento: gruppi di trattamento di modalità B_1.* (non 3 PC, con API Privacy Sandbox e altri simboli)
  • Sappiamo che i partecipanti al mercato utilizzano una serie di altri indicatori oltre ai tre PC per assegnare gli annunci alle richieste di annunci, ad esempio i dati dei publisher proprietari e le informazioni contestuali. Nella misura in cui questi indicatori non siano influenzati dalle modifiche proposte (il ritiro dei 3PC e l'introduzione delle API Privacy Sandbox), questi indicatori devono essere mantenuti sia nel gruppo di controllo che in quello sperimentale.
  • Tieni presente che alcuni siti potrebbero essere ancora disponibili per altri 3PC. I tester non devono usare questi 3 PC per i casi d'uso pertinenti nei gruppi di controllo 2 o di trattamento. Questi tre parametri sono progettati per risolvere i problemi che non riguardano gli annunci.
  • Tieni presente che le API Privacy Sandbox saranno disponibili nel controllo 1 ma, come descritto nelle linee guida della CMA sui test di settore, i partecipanti ai test non devono utilizzare l'API Topics o eseguire aste di Protected Audiences per questo traffico.
  • Consulta la sezione Test facilitato da Chrome per etichette, dimensioni e caratteristiche di ciascun gruppo.

Metodologia della metrica proposta

  • Non proponiamo alcuna metodologia specifica per la raccolta o il calcolo delle metriche. Tuttavia, consigliamo vivamente ai tester di fornire trasparenza in merito a questa metodologia. Ciò consentirà a chi analizza i risultati dei test (ovvero gli enti regolatori) forniti dalle diverse aziende di essere informati delle variazioni e di prendere decisioni su come confrontare i risultati.
  • Siamo consapevoli che la raccolta di alcune metriche potrebbe richiedere l'utilizzo di Aggregazione privata, con cui alcuni tester potrebbero non essere ancora integrati al momento dei test.
  • Per quanto possibile, i partecipanti potrebbero generare report sulle metriche relative all'attività di offerta e all'importo degli interessi dedotti dalle aste, come il numero di offerte che hanno partecipato alle aste o il valore medio dell'offerta.
Gruppo sperimentale Trattamento Controllo 2 Controllo 1
Modalità Traffico Modalità B (3PCD) Modalità B' (3PCD + PA + soppressione di Topics) Status Quo (senza 3PCD)
API Pertinenza applicata PA+Argomenti +indicatori contestuali Solo indicatori contestuali Indicatori basati sui cookie + indicatori di contesto

Obiettivo 1 - (DSP) Misurare l'impatto di 3PCD sulla pubblicità basata sugli interessi

Metriche

Includi le metriche chiave richieste dalla CMA e, ove possibile, valuta la possibilità di includere altre metriche che potrebbero essere utili, ad esempio:

  • Numero medio di argomenti ricevuti: il numero di argomenti ricevuti nelle richieste di offerta. Misura la copertura dell'API Topic.
  • Tempo medio trascorso: il tempo medio durante il quale almeno il 50% dei pixel degli annunci è stato presente nell'area visibile degli utenti dopo l'inizio del rendering dell'annuncio. Misura il coinvolgimento con gli annunci.
  • Clic per impressione (ovvero percentuale di clic): il numero medio di clic per impressione. Una misura della pertinenza di un annuncio.
  • Clic per dollaro: il numero medio di clic per dollaro. Misura la qualità degli annunci che ricevono dagli inserzionisti.
  • Conversioni per dollaro: il numero medio di conversioni per dollaro. Misura la qualità degli annunci che ricevono dagli inserzionisti.
  • Tasso di conversione: il numero medio di conversioni per clic, indicato con un valore percentuale. Misura la qualità del traffico ricevuta dagli inserzionisti.
  • Totale risposte alle offerte uniche: il numero totale di risposte all'offerta inviate dalla DSP. Questo è un proxy della domanda dei singoli servizi di ad tech.
  • Spettatori unici: il numero di utenti unici raggiunti dall'annuncio dell'inserzionista. Misura la copertura.
  • Percentuali di completamento video: il tempo medio durante il quale almeno il 50% dei pixel degli annunci è stato presente nell'area visibile degli utenti per l'intera durata dell'annuncio video, dopo il rendering e la riproduzione del video. Misura il coinvolgimento con gli annunci.

Punti di analisi suggeriti

  • Gli inserzionisti sono in grado di raggiungere il proprio pubblico di destinazione con la scalabilità che preferiscono?
  • In che modo le modifiche influiscono sul coinvolgimento e sull'interazione con gli annunci?
  • In che modo questa modifica influisce sulla qualità degli annunci percepiti dagli inserzionisti?
  • L'inserzionista è in grado di fare pubblicità in modo conveniente? In altre parole, sono in grado di acquisire nuovi clienti a una velocità inferiore al valore generato da questi clienti in un periodo di tempo ragionevole?
  • Ci sono aspetti degni di nota che è necessario considerare durante la valutazione dei risultati dell'esperimento di un partecipante al mercato?
  • Come si rapportano i risultati a test precedenti condotti da un eventuale partecipante al mercato?
  • Quali sono i potenziali venti contrari che influiscono sulle prestazioni? Quali sono invece i fattori che influiscono sul rendimento?

Obiettivo 2 - (DSP) - Misurazione dell'impatto di 3PCD sul remarketing

Metriche

Includi le metriche chiave richieste dalla CMA e, ove possibile, valuta la possibilità di includere altre metriche che potrebbero essere utili, ad esempio:

  • Tempo medio trascorso: il tempo medio durante il quale almeno il 50% dei pixel degli annunci è stato presente nell'area visibile degli utenti dopo l'inizio del rendering dell'annuncio. Misura il coinvolgimento con gli annunci.
  • Clic per impressione (ovvero percentuale di clic): il numero medio di clic per impressione. Una misura della pertinenza di un annuncio.
  • Clic per dollaro: il numero medio di clic per dollaro. Misura la qualità degli annunci che ricevono dagli inserzionisti.
  • Conversioni per dollaro: il numero medio di conversioni per dollaro. Misura la qualità degli annunci che ricevono dagli inserzionisti.
  • Tasso di conversione: il numero medio di conversioni per clic, indicato con un valore percentuale. Misura la qualità del traffico ricevuta dagli inserzionisti.
  • Totale risposte alle offerte uniche: il numero totale di risposte all'offerta inviate dalla DSP. Questo è un proxy della domanda dei singoli servizi di ad tech.
  • Spettatori unici: il numero di utenti unici raggiunti dall'annuncio dell'inserzionista. Misura la copertura.
  • Percentuali di completamento video: il tempo medio durante il quale almeno il 50% dei pixel degli annunci è stato presente nell'area visibile degli utenti per l'intera durata dell'annuncio video, dopo il rendering e la riproduzione del video. Misura il coinvolgimento con gli annunci.

Punti di analisi suggeriti

  • Gli inserzionisti sono in grado di raggiungere il proprio pubblico di destinazione con la scalabilità che preferiscono?
  • In che modo le modifiche influiscono sul coinvolgimento e sull'interazione con gli annunci?
  • In che modo questa modifica influisce sulla qualità degli annunci percepiti dagli inserzionisti?
  • L'inserzionista è in grado di fare pubblicità in modo conveniente? In altre parole, sono in grado di acquisire nuovi clienti a una velocità inferiore al valore generato da questi clienti in un periodo di tempo ragionevole?
  • Ci sono aspetti degni di nota che è necessario considerare durante la valutazione dei risultati dell'esperimento di un partecipante al mercato?
  • Come si rapportano i risultati a test precedenti condotti da un eventuale partecipante al mercato?
  • Quali sono i potenziali venti contrari che influiscono sulle prestazioni? Quali sono invece i fattori che influiscono sul rendimento?

Obiettivo 3 - (SSP) Misurare l'impatto di 3PCD sulle aste non agevolate dall'API Protected Audience

Metriche

Includi le metriche chiave richieste dalla CMA e altre metriche che potrebbero essere utili, ad esempio:

  • Variazione percentuale della spesa pianificata per le campagne: la spesa degli inserzionisti per le campagne. Una misura della quota di condivisione delle entrate dei publisher e della tecnologia pubblicitaria.
  • Numero medio di argomenti inviati: il numero medio di argomenti inviati nelle richieste di offerta. Misura la copertura dell'API Topic.
  • Latenza dell'asta: il tempo medio di esecuzione di un'asta. Per le SSP, misurate dalla prima esecuzione del codice lato client della SSP a quando l'SSP seleziona un'offerta e la invia all'ad server. Per gli ad server, misurati dall'esecuzione del tag annuncio all'annuncio visualizzato. Misura la velocità di esecuzione dell'asta.
  • Entrate per impressione: le entrate medie generate per impressione. Una misura delle entrate dei publisher.
  • Richieste di offerta uniche totali: il numero totale di richieste di offerta uniche inviate dalla SSP. Questo è un proxy della domanda dei singoli servizi di ad tech.

Punti di analisi suggeriti

  • In che modo le modifiche alla latenza influiscono sulla capacità di una SSP di eseguire un'asta? In che modo influiscono sulla latenza della pagina del publisher?
  • In che modo la latenza incide sulle entrate dei publisher? In base al numero di argomenti inviati nelle richieste di offerta?
  • Qual è l'impatto della domanda di servizi di tecnologia pubblicitaria delle SSP?
  • Le SSP sono in grado di generare report sui KPI relativi alle aste che sono importanti per le attività del publisher? Per le loro attività?
  • Ci sono aspetti degni di nota che è necessario considerare durante la valutazione dei risultati dell'esperimento di un partecipante al mercato?
  • Come si rapportano i risultati a test precedenti condotti da un eventuale partecipante al mercato?
  • Quali sono i potenziali venti contrari che influiscono sulle prestazioni? Quali sono invece i fattori che influiscono sul rendimento?

Obiettivo 4 - (SSP) Determinare l'efficacia delle aste dell'API Protected Audience

Metriche

Includi le metriche chiave richieste dalla CMA e altre metriche che potrebbero essere utili, ad esempio:

  • Latenza dell'asta: il tempo medio di esecuzione di un'asta. Per le SSP, misurate dalla prima esecuzione del codice lato client della SSP, per registrare il risultato. Per gli ad server, misurati dall'esecuzione del tag annuncio all'annuncio visualizzato. Misura la velocità di esecuzione dell'asta.
  • Entrate per impressione: le entrate medie generate per impressione. Una misura delle entrate dei publisher.
  • Tasso di riempimento: il tasso di riempimento misura la percentuale di richieste di offerta che una SSP riempie con gli annunci. Per calcolarlo, dividi le impressioni totali degli annunci per il numero totale di richieste di offerta provenienti da una SSP.
  • Tasso di timeout: percentuale di aste che non vengono completate a causa del raggiungimento dei timeout configurabili SSP.
  • Richieste di offerta uniche totali: il numero totale di richieste di offerta uniche inviate dalla SSP. Questo è un proxy della domanda dei singoli servizi di ad tech.

Punti di analisi suggeriti

  • In che modo le modifiche alla latenza influiscono sulla capacità di una SSP di eseguire un'asta? In che modo influiscono sulla latenza della pagina del publisher?
  • In che modo il timeout ha influito sulla capacità delle DSP di fare offerte?
  • In che modo la latenza incide sulle entrate dei publisher? In base al numero di argomenti inviati nelle richieste di offerta?
  • Qual è l'impatto della domanda di servizi di tecnologia pubblicitaria delle SSP?
  • Le SSP sono in grado di generare report sui KPI relativi alle aste che sono importanti per le attività del publisher? Per le loro attività?
  • Ci sono aspetti degni di nota che è necessario considerare durante la valutazione dei risultati dell'esperimento di un partecipante al mercato?
  • Come si rapportano i risultati a test precedenti condotti da un eventuale partecipante al mercato?
  • Quali sono i potenziali venti contrari che influiscono sulle prestazioni? Quali sono invece i fattori che influiscono sul rendimento?