Dieser Leitfaden soll Ihnen dabei helfen, einen eigenständigen Test der Privacy Sandbox Attribution Reporting API durchzuführen. Weitere Informationen finden Sie in Abschnitt 12.
- Die Messung der Ergebnisse in der Kontroll- und Testverzweigung in den Testdesigns 1 und 2 der CMA wird im Leitfaden zu Tests für Relevanz-APIs behandelt, da das Ziel dieser Tests darin besteht, die Wirksamkeit von Protected Audience und Topics zu testen. Weitere Informationen finden Sie in Abschnitt 11.
Hinweis
- Hier finden Sie Anleitungen zum Konfigurieren und Einrichten der Attribution Reporting API.
- Sehen Sie sich den CMA-Testleitfaden an: Hinweis zu Tests (November 2022), Leitfaden für Tests (Juni 2023) und Zusätzliche Informationen zu Tests (Oktober 2023).
Bewertungsziele und vorgeschlagene Einrichtung des Tests
Ziel 1: Effizienz der Attribution Reporting API für die Berichterstellung ermitteln
Wir schlagen eine A/A-Einrichtung vor, um die Auswirkungen auf die Berichterstellung zu messen.
- Dieser Vorschlag entspricht den Leitlinien der CMA zur Bewertung von Conversions-basierten Messwerten. Weitere Informationen finden Sie in Abschnitt 21 und Abschnitt 12.
- Diese Methode wird gegenüber dem Modus A/B bevorzugt, da die Attribution Reporting API (ARA) getestet werden kann, indem Conversions für dieselben Impressionen mit zwei verschiedenen Messmethoden erfasst werden: Drittanbieter-Cookies + Nicht-Drittanbieter-Cookie-Daten und ARA + Nicht-Drittanbieter-Cookie-Daten.
- Bei einem A/A-Test wird auch die Auswirkung der Attribution Reporting API auf die Conversion-Analyse isoliert. So werden z. B. Änderungen an den Conversion-Raten aufgrund fehlender Drittanbieter-Cookies vermieden.
Vorgeschlagene Analysepunkte
- Wählen Sie einen Anteil des Traffics aus, der groß genug ist, um statistisch signifikante Ergebnisse zu erhalten, und sowohl Drittanbieter-Cookies als auch Privacy Sandbox APIs hat. Idealerweise ist dies der gesamte Traffic, außer in Modus B, in dem Drittanbieter-Cookies deaktiviert werden.
- Wir empfehlen, Modus B aus dem A/A-Test auszuschließen, da Drittanbieter-Cookies nicht verfügbar sind und Sie die ARA-Ergebnisse nicht mit den auf Drittanbieter-Cookies basierenden Attributionsergebnissen vergleichen können.
- Wenn Sie Modus B einschließen möchten, sollten Sie Fehlerbehebungsberichte für Modus-B-Anteil des Traffics aktivieren. Mithilfe von Debug-Berichten können Sie Probleme bei der Konfiguration oder Implementierung beheben.
- Wenn Sie einen Test mit einem kleineren Teil des Traffics durchführen, erwarten wir, dass die Messergebnisse sehr lauter sind als erwartet. Wir empfehlen, bei Ihrer Analyse anzugeben, welcher Anteil der Zugriffe verwendet wurde und ob die Ergebnisse auf verrauschten oder nicht verrauschten Debug-Berichten basieren.
- Bei Zusammenfassungsberichten sind die Zusammenfassungswerte wahrscheinlich niedriger. Der Aggregationsdienst fügt dann unabhängig vom Zusammenfassungswert verrauschte Werte aus derselben Verteilung hinzu.
- Verschiedene Messmethoden für diesen Traffic-Anteil testen
- Kontrollgruppe 1 – Aktuelle Messmethoden verwenden (Drittanbieter-Cookies + Daten von Drittanbieter-Cookies)
- (optional) Einstellung 2 – keine Privacy Sandbox und keine Drittanbieter-Cookies, d. h. nur Nicht-Drittanbieter-Cookie-Daten
- Beachten Sie, dass einige Drittanbieter-Cookies möglicherweise noch für einige Websites verfügbar sind. Wenn Sie möglichst genaue Ergebnisse erhalten möchten, sollten Sie diese Drittanbieter-Cookies nicht für die Messung in „Kontrolle 2“ oder „Testgruppe“ verwenden.
- Testgruppe – Privacy Sandbox APIs und Daten von Drittanbieter-Cookies
- Beachten Sie, dass einige Drittanbieter-Cookies möglicherweise noch für einige Websites verfügbar sind. Wenn Sie möglichst genaue Ergebnisse erhalten möchten, sollten Sie diese Drittanbieter-Cookies nicht für die Messung in „Kontrolle 2“ oder „Testgruppe“ verwenden.
Messwerte
- Definieren Sie, welche Messwerte für Ihr Unternehmen sinnvoll sind, um Ergebnisse zu messen, und fügen Sie eine Beschreibung der Bedeutung und der Art der Messung hinzu.
- Wir empfehlen Ihnen, sich auf Dimensionen und Messwerte zu konzentrieren, die für Ihre Werbetreibenden wichtig sind. Wenn sich Ihre Werbetreibenden beispielsweise auf Kauf-Conversions konzentrieren, messen Sie die Conversion-Anzahl dafür und den Kaufwert.
- Messwerte, die auf Anzahl oder Summe (z. B. Conversion-Rate) basieren, eignen sich besser als für Cost-per-Conversion (z. B. Cost-per-Conversion). Bei A/A-Analysen können Kostenmesswerte vollständig aus den Werten für Anzahl oder Summe der Conversions abgeleitet werden.
- Geben Sie an, ob die Metriken auf Berichten auf Ereignisebene, auf Zusammenfassungsberichten oder auf einer Kombination aus beiden Berichten basieren, und ob Debug-Berichte verwendet wurden.
- Eine Anleitung zur Formatierung des quantitativen Feedbacks finden Sie in den vorgeschlagenen Vorlagentabellen.
Analyse
- Abdeckung:
- Können Sie Analysen für eine ähnliche Gruppe von Nutzern durchführen wie Drittanbieter-Cookies? Ist die Abdeckung höher (z. B. App-zu-Web)?
- Können Sie die Conversions (und Dimensionen oder Messwerte) erfassen, die für Sie oder Ihre Werbetreibenden am wichtigsten sind?
- Quantitatives Feedback
- Bei Werbetreibendenberichten beispielsweise, wie viel Prozent der wichtigen Conversions Sie für diesen Werbetreibenden erfassen könnten oder welcher Prozentsatz der Kampagnen eine Qualitätsgrenze für die Berichterstellung erfüllt. So kann ein Qualitätsbalken für Kampagnen mit geringer Conversion-Anzahl einfacher angepasst werden.
- Gibt es beispielsweise Werbetreibende, die beispielsweise nach Werbetreibenden segmentiert sind, sind für die Berichterstellung mehr oder weniger auf Drittanbieter-Cookies angewiesen?
- Weiteres qualitatives Feedback:
- Wie wirkt sich ARA auf die komplexe Einrichtung der Messung/Attribution für Werbetreibende aus?
- Hilft oder hindert ARA Werbetreibende dabei, sich auf die für sie relevanten Messwerte und Ziele zu konzentrieren?
Vorgeschlagene Vorlagentabellen für die Berichterstellung über die Auswirkungen
(Berichterstellung) Tabelle 1:
Beispielvorlagentabelle für die Meldung von Testergebnissen an die CMA (aus Seite 18; die Tester sollten jedoch berücksichtigen, welche Messwerte am aussagekräftigsten bzw. geeignetsten sind, und die Tabelle nach Bedarf anpassen).
|
Testgruppe vs. Kontrollgruppe 1 Vergleicht den vorgeschlagenen Endzustand mit dem aktuellen Status |
Testgruppe vs. Kontrollgruppe 2 Vergleicht den vorgeschlagenen Endzustand ohne PS APIs. |
Kontrollgruppe 2 im Vergleich zu Kontrollgruppe 1 Vergleicht die Conversion-Analyse mit und ohne Drittanbieter-Cookies und ohne PS APIs. |
|
| Messmethodik | Vergleich der Conversion-Analyse für die Testgruppe (ARA mit Daten, die nicht von Drittanbietern stammen) mit Kontrollgruppe 1 (Daten von Drittanbieter-Cookies und Drittanbieter-Cookie-Daten) | Vergleich der Conversion-Analyse für die Testgruppe (ARA mit Daten, die nicht von Drittanbietern stammen) mit Kontrollgruppe 2 (nur Daten von Drittanbieter-Cookies) | Vergleich der Conversion-Messung für Kontrollgruppe 2 (nur Daten von Drittanbieter-Cookies) mit Kontrollgruppe 1 (Daten von Drittanbieter-Cookies und Drittanbieter-Cookie-Daten) |
| Conversions pro investiertem Euro | Effekt | Effekt | Effekt |
| Standardfehler | Standardfehler | Standardfehler | |
| 95 % Konfidenzintervall | 95 % Konfidenzintervall | 95 % Konfidenzintervall | |
| Conversions insgesamt | Effekt | Effekt | Effekt |
| Standardfehler | Standardfehler | Standardfehler | |
| 95 % Konfidenzintervall | 95 % Konfidenzintervall | 95 % Konfidenzintervall | |
| Conversion-Rate | Effekt | Effekt | Effekt |
| Standardfehler | Standardfehler | Standardfehler | |
| 95 % Konfidenzintervall | 95 % Konfidenzintervall | 95 % Konfidenzintervall | |
| (eigene Messwerte hinzufügen) |
(Berichterstellung) Tabelle 2:
Beispielvorlagentabelle zum Melden beschreibender Statistiken für Messwerte in den Test- und Kontrollgruppen (Quelle: Seite 20. Tester sollten jedoch überlegen, welche Messwerte am aussagekräftigsten sind bzw. für die Bereitstellung und Anpassung der Tabelle nach Bedarf geeignet sind.)
| Messwert | Testgruppe
Conversion-Analyse mit ARA und allen von Ihnen verwendeten Cookie-Daten, die nicht von Drittanbietern stammen |
Kontrollgruppe 1
Conversion-Analyse mithilfe von Drittanbieter-Cookies und jeglichen nicht von Drittanbietern stammenden Cookie-Daten |
Kontrollgruppe 2
Conversion-Analyse nur anhand von Drittanbieter-Cookie-Daten |
| Conversions pro investiertem Euro | Durchschnitt | Durchschnitt | Durchschnitt |
| Standardabweichung | Standardabweichung | Standardabweichung | |
| 25. und 75. Perzentil | 25. und 75. Perzentil | 25. und 75. Perzentil | |
| Conversions insgesamt | Durchschnitt | Durchschnitt | Durchschnitt |
| Standardabweichung | Standardabweichung | Standardabweichung | |
| 25. und 75. Perzentil | 25. und 75. Perzentil | 25. und 75. Perzentil | |
| Conversion-Rate | Durchschnitt | Durchschnitt | Durchschnitt |
| Standardabweichung | Standardabweichung | Standardabweichung | |
| 25. und 75. Perzentil | 25. und 75. Perzentil | 25. und 75. Perzentil | |
| (eigene Messwerte hinzufügen) |
Ziel 2: Effizienz der Attribution Reporting API für die Gebotsoptimierung ermitteln
Wir schlagen eine A/B-Einrichtung vor, um die Auswirkungen auf die Gebotsoptimierung zu messen.
- Wenn Sie die Auswirkungen auf die Gebotsoptimierung messen möchten, müssen Sie zwei verschiedene Modelle für maschinelles Lernen trainieren und auf zwei Zugriffssegmente anwenden: ein Modell wurde mit aktuellen Messmethoden (Daten von Drittanbieter-Cookies + Daten von Drittanbieter-Cookies) auf die Kontrollgruppe angewendet und ein Modell, das mit der Attribution Reporting API und Daten, die nicht von Drittanbieter-Cookies stammen, auf die Testgruppe angewendet.
- Das Modelltraining sollte auf so viel Traffic basieren, wie der Tester für erforderlich hält, um die Leistung zu maximieren. Das gilt auch dann, wenn die Testgruppe einen kleineren Anteil der Zugriffe hat und es Überschneidungen zwischen den Trainingsdaten gibt. Verwenden Sie beispielsweise das vorhandene Drittanbieter-Cookie-Modell, das für alle Zugriffe trainiert, und trainieren Sie das ARA-Modell für alle ARA-Zugriffe, die für Zielvorhaben 1 aktiviert sind.
- Wenn Sie Ergebnisse an die CMA senden, beachten Sie, ob es einen signifikanten Unterschied zwischen den Traffic-Segmenten gibt, die zum Trainieren verschiedener Modelle verwendet werden (z. B. wenn auf Cookies basierende Modelle von Drittanbietern mit 100% des Traffics trainiert werden, ARA-basierte Modelle jedoch nur für 1% des Traffics).
- Wenn möglich, sollte das Training für die Test- und die Kontrollgebotsmodelle gleich lang sein.
- Überlegen Sie, ob Sie die Gebotsmodelle während des Tests kontinuierlich trainieren und aktualisieren sollten und ob Sie, falls vorhanden, für möglichst viele Zugriffe oder nur für Zugriffe aus der Test- und Kontrollgruppe trainieren sollten.
- Die verschiedenen Modelle sollten als A/B-Test für getrennte Traffic-Slices verwendet werden. Für die Randomisierung und Zuweisung von Nutzern in den Test- und Kontrollgruppen sollten Sie von Chrome unterstützte, mit Labels versehene Browsergruppen (Modus A) verwenden oder einen eigenen Test mit randomisierten Browsern durchführen. Wir raten davon ab, den Modus B zu verwenden, da durch den Fehlen von Drittanbieter-Cookies die Erstellung von Berichten zu Conversion-basierten Messwerten erschwert wird.
- Von Chrome verwaltete Browsergruppen schließen einige Chrome-Instanzen wie Enterprise Chrome-Nutzer aus, bei denen diese Chrome-Instanzen von Ihren eigenen zufällig ausgewählten Browsern nicht ausgeschlossen werden können. Daher sollten Sie Ihren Test nur für Gruppen in Modus A oder nur für Gruppen ausführen, die nicht für Modus A und Modus B verfügbar sind. So vermeiden Sie den Vergleich von Messwerten für von Chrome verwaltete Gruppen mit Messwerten außerhalb von Gruppen, die von Chrome unterstützt werden.
- Wenn Sie keine von Chrome unterstützten, mit Labels versehenen Browsergruppen verwenden (z. B. Test für anderen Traffic ausführen):
- Sicherstellen, dass die Test- und Kontrollgruppe der Nutzenden randomisiert und unverzerrt ist. Unabhängig von der Einrichtung der Testgruppe sollten Sie die Eigenschaften der Test- und Kontrollgruppen auswerten, um sicherzustellen, dass die Test- und Kontrollgruppen vergleichbar sind. (Siehe: Abschnitt 15)
- Die Nutzermerkmale und Kampagnenkonfigurationen der Test- und Kontrollgruppe müssen identisch sein. Verwenden Sie z. B. in den Test- und Kontrollgruppen ähnliche Regionen. (Siehe: Abschnitt 28)
- Konkrete Beispiele: Achten Sie darauf, dass ähnliche Conversion-Typen mit demselben Attributionszeitraum und derselben Attributionslogik gemessen werden, die Kampagnen auf ähnliche Zielgruppen, Interessengruppen und Regionen ausgerichtet sind und ähnliche Anzeigentexte und Anzeigenformate verwendet werden.
- Stellen Sie sicher, dass die anfängliche Populationsgröße für die Test- und Kontrollgruppe groß genug ist, um Flexibilität für Gebote und Tests zu haben.
- Wenn Sie von Chrome verwaltete, mit Labels versehene Browsergruppen verwenden (Modus A), erfolgt die zufällige Anordnung der Chrome-Browserinstanzen zu Gruppen in Chrome. Sie sollten wie zuvor überprüfen, ob die Randomisierung für Ihre Zwecke zu unverzerrten / vergleichbaren Gruppen führt.
Vorgeschlagene Analysepunkte
- Wir empfehlen, Kontroll- und Testverzweigungen zu definieren und für jede Verzweigung ein anderes Modell für maschinelles Lernen zur Gebotsoptimierung zu verwenden:
- Kontrollgruppe 1: Das mit den aktuellen Messmethoden trainierte Modell zur Gebotsoptimierung verwenden (Daten von Drittanbieter-Cookies + Daten, die nicht von Drittanbietern stammen)
- Optional: Einstellung 2: Gebotsoptimierungsmodell verwenden, das mit keiner Privacy Sandbox und ohne Drittanbieter-Cookies trainiert wurde, d. h. nur mit nicht von Drittanbietern stammenden Cookie-Daten
- Beachten Sie, dass einige Drittanbieter-Cookies möglicherweise noch für einige Websites verfügbar sind. Wenn Sie möglichst genaue Ergebnisse erhalten möchten, sollten Sie diese Drittanbieter-Cookies nicht für die Messung in „Kontrolle 2“ oder „Testgruppe“ verwenden.
- Testgruppe – Das Gebotsoptimierungsmodell verwenden, das mit der Attribution Reporting API und mit Daten von Drittanbieter-Cookies trainiert wurde
- Beachten Sie, dass einige Drittanbieter-Cookies möglicherweise noch für einige Websites verfügbar sind. Wenn Sie möglichst genaue Ergebnisse erhalten möchten, sollten Sie diese Drittanbieter-Cookies nicht für die Messung in „Kontrolle 2“ oder „Testgruppe“ verwenden.
Messwerte
- Definieren Sie, welche Messwerte für Ihr Unternehmen sinnvoll sind, um Ergebnisse zu messen, und fügen Sie eine Beschreibung der Bedeutung und der Art der Messung hinzu.
- Ein aussagekräftiger Messwert könnte beispielsweise der Wert „Ausgaben (Publisher-Umsatz)“ sein. Dies entspricht den Leitlinien der CMA, die Aufschluss darüber geben, wie sich die Einstellung von Drittanbieter-Cookies auf den Umsatz pro Impression auswirkt. Weitere Informationen finden Sie in Abschnitt 19.
- Wenn Sie Berichte zu Conversion-basierten Messwerten erstellen, sollten Sie für jede Verzweigung dieselbe Messmethode verwenden, um multivariate Tests zu vermeiden. So können Sie die Auswirkungen auf die Optimierung und die Berichterstellung in einem Test testen. Eine Anleitung zur Formatierung des quantitativen Feedbacks finden Sie in den vorgeschlagenen Vorlagentabellen.
- Ziehen Sie andere Möglichkeiten in Betracht, Messwerte zur Auswirkung der Gebotsoptimierung zu erfassen, zum Beispiel durch Simulation von Geboten. Gibt es simulierte Messwerte, die nützlich wären, um die Auswirkungen von Drittanbieter-Cookies und ARA auf Ihre Gebotsmodelle zu verstehen?
- Geben Sie an, ob die Metriken auf Berichten auf Ereignisebene, auf Zusammenfassungsberichten oder auf einer Kombination aus beiden Berichten basieren, und ob Debug-Berichte verwendet wurden.
Analyse
- Abdeckung:
- Können Sie Analysen für eine ähnliche Gruppe von Nutzern durchführen wie Drittanbieter-Cookies? Gibt es Veränderungen bei der Abdeckung (z. B. App-zu-Web)?
- Können Sie die Conversions (und Dimensionen/Messwerte) erfassen, die für Sie oder Ihre Werbetreibenden am wichtigsten sind?
- Wie würden sich die Unterschiede zwischen den Gruppen auf Folgendes auswirken:
- Berichte von Werbetreibenden, z. B. wie viel Prozent der wichtigen Conversions Sie erfassen könnten.
- Beim Training und bei der Optimierung werden beispielsweise die Auswirkungen verschiedener Conversion-Daten auf die Modellleistung simuliert.
- Weiteres qualitatives Feedback:
- Wie wirkt sich ARA auf die Komplexität der Einrichtung der Gebotsoptimierung durch Werbetreibende aus?
- Hilft oder hindert ARA Werbetreibende daran, sich auf die für sie relevanten Messwerte und Ziele zu konzentrieren?
Vorgeschlagene Vorlagentabellen für die Gebotsauswirkung
(Gebote) Tabelle 1:
Beispielvorlagentabelle mit Testergebnissen, die Marktteilnehmer an die CMA senden sollten (aus Seite 18. Die Tester sollten jedoch berücksichtigen, welche Messwerte am aussagekräftigsten sind bzw. in der Tabelle nach Bedarf angepasst werden können).
|
Testgruppe vs. Kontrollgruppe 1 Vergleicht den vorgeschlagenen Endzustand mit dem aktuellen Status |
Testgruppe vs. Kontrollgruppe 2 Vergleicht den vorgeschlagenen Endzustand ohne PS APIs. |
Kontrollgruppe 2 vs. Kontrollgruppe 1 Vergleicht die Gebotsoptimierung mit und ohne Drittanbieter-Cookies und ohne PS APIs. |
|
| Messmethodik | Um multivariate Tests zu vermeiden, sollten Sie in jedem Test sowohl Drittanbieter-Cookies als auch Drittanbieter-Cookie-Daten verwenden, um Conversion-basierte Messwerte für beide Verzweigungen zu messen. | ||
| Umsatz pro Impression | Effekt | Effekt | Effekt |
| Standardfehler | Standardfehler | Standardfehler | |
| 95 % Konfidenzintervall | 95 % Konfidenzintervall | 95 % Konfidenzintervall | |
| (Eigene Messwerte hinzufügen) | |||
(Gebote) Tabelle 2:
Beispielvorlagentabelle zum Melden beschreibender Statistiken für Messwerte in den Test- und Kontrollgruppen (Quelle: Seite 20. Tester sollten jedoch überlegen, welche Messwerte am aussagekräftigsten sind bzw. für die Bereitstellung und Anpassung der Tabelle nach Bedarf geeignet sind.)
|
Testgruppe Gebotsoptimierung mit ARA und allen von Ihnen verwendeten Cookie-Daten, die nicht von Drittanbietern stammen |
Kontrollgruppe 1 Gebotsoptimierung mit Drittanbieter-Cookies und jeglichen nicht von Drittanbietern verwendeten Cookie-Daten |
Kontrollgruppe 2 Gebotsoptimierung nur anhand von Drittanbieter-Cookie-Daten |
|
| Messmethodik | Um multivariate Tests zu vermeiden, sollten Sie Drittanbieter-Cookies und Drittanbieter-Cookie-Daten verwenden, um Conversion-basierte Messwerte über alle Verzweigungen hinweg zu messen. | ||
| Umsatz pro Impression | Durchschnitt | Durchschnitt | Durchschnitt |
| Standardabweichung | Standardabweichung | Standardabweichung | |
| 25. und 75. Perzentil | 25. und 75. Perzentil | 25. und 75. Perzentil | |
| (eigene Messwerte hinzufügen) | |||