Tujuan panduan ini adalah untuk memberikan panduan dalam menjalankan pengujian mandiri Privacy Sandbox Attribution Reporting API. Untuk mengetahui detail selengkapnya, lihat: Bagian 12.
- Pengukuran hasil grup kontrol dan perlakuan dalam desain eksperimental CMA 1 dan 2 dibahas dalam Panduan pengujian Relevant API, karena tujuan eksperimen tersebut adalah untuk menguji efektivitas penggunaan Protected Audience & Topics. Untuk mengetahui detail selengkapnya, lihat Bagian 11.
Sebelum memulai
- Tinjau panduan tentang cara mengonfigurasi dan menyiapkan Attribution Reporting API.
- Tinjau panduan pengujian CMA: Catatan eksperimen (November 2022), Panduan pengujian (Juni 2023), dan Panduan pengujian tambahan (Oktober 2023).
Sasaran evaluasi dan konfigurasi eksperimen yang diusulkan
Sasaran 1 - Menentukan efektivitas Attribution Reporting API untuk pelaporan
Kami mengusulkan penyiapan A/A untuk mengukur dampak terhadap pelaporan
- Proposal ini selaras dengan panduan CMA tentang evaluasi metrik berbasis konversi. Untuk detail selengkapnya, lihat Pasal 21 dan Pasal 12.
- Kami lebih memilih metode ini daripada Mode A/B karena pengujian Attribution Reporting API (ARA) dapat dilakukan dengan mengukur konversi secara bersamaan pada kumpulan tayangan yang sama menggunakan dua metodologi pengukuran yang berbeda (cookie pihak ketiga + data cookie non-pihak ketiga dan data cookie ARA + non-pihak ketiga).
- Eksperimen A/A juga mengisolasi dampak Attribution Reporting API pada pengukuran konversi (misalnya, menghindari perubahan pada rasio konversi karena kurangnya cookie pihak ketiga).
Poin analisis yang disarankan
- Pilih bagian traffic yang cukup besar untuk mendapatkan hasil statistik yang signifikan dan memiliki cookie pihak ketiga dan API Privacy Sandbox. Idealnya, ini adalah semua traffic, kecuali Mode B (yang menonaktifkan cookie pihak ketiga).
- Sebaiknya kecualikan Mode B dari eksperimen A/A, karena cookie pihak ketiga tidak akan tersedia dan Anda tidak akan dapat membandingkan hasil ARA dengan hasil atribusi berbasis cookie pihak ketiga.
- Jika Anda ingin menyertakan Mode B, sebaiknya aktifkan laporan debug untuk bagian traffic Mode B. Laporan debug akan membantu Anda memecahkan masalah konfigurasi atau penerapan.
- Jika Anda berencana untuk menguji bagian traffic yang lebih kecil, kami memperkirakan Anda akan menerima hasil pengukuran yang lebih berisik dari yang diharapkan. Sebaiknya catat dalam analisis Anda berapa bagian traffic yang digunakan dan apakah Anda melaporkan hasil berdasarkan laporan yang berisi derau atau laporan debug yang tidak bising.
- Untuk laporan ringkasan, nilai ringkasan Anda kemungkinan akan lebih rendah, dan Layanan Agregasi akan menambahkan derau dari distribusi yang sama, terlepas dari nilai ringkasan.
- Menguji berbagai metodologi pengukuran pada bagian traffic tersebut
- Kontrol 1 - Gunakan metodologi pengukuran saat ini (data cookie pihak ketiga + cookie non-pihak ketiga)
- (opsional) Kontrol 2 - tanpa Privacy Sandbox dan tanpa cookie pihak ketiga, yaitu, hanya data cookie non-pihak ketiga
- Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia di beberapa situs - untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran di metodologi Kontrol 2 atau Perlakuan
- Perlakuan - API Privacy Sandbox dan data cookie non-pihak ketiga
- Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia di beberapa situs - untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran di metodologi Kontrol 2 atau Perlakuan
Metrik
- Tentukan metrik yang tepat bagi bisnis Anda untuk mengukur hasil, dan sertakan deskripsi tentang arti metrik tersebut dan cara pengukurannya.
- Sebaiknya Anda berfokus pada dimensi dan metrik yang penting bagi pengiklan Anda. Misalnya, jika pengiklan Anda berfokus pada konversi pembelian, ukur jumlah konversi untuk konversi tersebut dan nilai pembeliannya.
- Metrik yang didasarkan pada jumlah atau jumlah (misalnya, rasio konversi) lebih ideal digunakan dibandingkan dengan biaya per (misalnya, biaya per konversi). Untuk analisis A/A, metrik biaya dapat sepenuhnya diturunkan dari hitungan atau penjumlahan nilai konversi.
- Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi kedua laporan (dan apakah laporan debug digunakan).
- Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.
Analisis
- Cakupan:
- Apakah Anda dapat melakukan pengukuran di sekelompok pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat cakupan yang lebih tinggi (misalnya dengan aplikasi ke web)?
- Apakah Anda dapat mengukur konversi (dan dimensi atau metrik) yang paling penting bagi Anda atau pengiklan Anda?
- Masukan kuantitatif
- Misalnya, pada pelaporan pengiklan, berapa persentase konversi utama yang dapat Anda laporkan untuk pengiklan tersebut, atau berapa persentase kampanye yang memenuhi standar kualitas pelaporan (mendapatkan standar kualitas akan membantu menyesuaikan kampanye dengan jumlah konversi kecil)
- Misalnya, dikelompokkan menurut pengiklan, apakah ada beberapa pengiklan yang saat ini kurang lebih bergantung pada cookie pihak ketiga untuk pelaporan?
- Masukan kualitatif lainnya:
- Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengukuran/atribusi pengiklan?
- Apakah ARA membantu atau menghambat pengiklan dalam berfokus pada metrik dan sasaran yang penting bagi mereka?
Tabel template yang disarankan untuk dampak pelaporan
(Pelaporan) Tabel 1:
Contoh tabel template untuk melaporkan hasil eksperimental ke CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik apa yang paling bermakna / layak untuk diberikan dan menyesuaikan tabel tersebut sesuai kebutuhan).
|
Perlakuan vs Kontrol 1 Membandingkan status akhir yang diusulkan dengan status saat ini |
Perlakuan vs Kontrol 2 Membandingkan status akhir yang diusulkan tanpa API PS sama sekali. |
Kontrol 2 vs Kontrol 1 Membandingkan pengukuran konversi dengan dan tanpa cookie pihak ketiga, tanpa API PS. |
|
| Metodologi Pengukuran | Membandingkan pengukuran konversi untuk Perlakuan (ARA dengan data cookie non-pihak ketiga) dengan Kontrol 1 (data cookie pihak ketiga dan non-pihak ketiga) | Membandingkan pengukuran konversi untuk Perlakuan (ARA dengan data cookie non-pihak ketiga) dengan Kontrol 2 (khusus data cookie non-pihak ketiga) | Membandingkan pengukuran konversi untuk Kontrol 2 (khusus data cookie non-pihak ketiga) dengan Kontrol 1 (data cookie pihak ketiga dan non-pihak ketiga) |
| Konversi per dolar | Efek | Efek | Efek |
| Kesalahan baku | Kesalahan baku | Kesalahan baku | |
| Interval keyakinan 95% | Interval keyakinan 95% | Interval keyakinan 95% | |
| Total konversi | Efek | Efek | Efek |
| Kesalahan baku | Kesalahan baku | Kesalahan baku | |
| Interval keyakinan 95% | Interval keyakinan 95% | Interval keyakinan 95% | |
| Rasio konversi | Efek | Efek | Efek |
| Kesalahan baku | Kesalahan baku | Kesalahan baku | |
| Interval keyakinan 95% | Interval keyakinan 95% | Interval keyakinan 95% | |
| (menambahkan metrik Anda sendiri) |
(Pelaporan) Tabel 2:
Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / layak untuk disediakan dan menyesuaikan tabel tersebut sesuai kebutuhan).
| Metrik | Perlakuan
Pengukuran konversi menggunakan ARA dan data cookie non-pihak ketiga yang Anda gunakan |
Kontrol 1
Pengukuran konversi menggunakan cookie pihak ketiga dan data cookie non-pihak ketiga yang Anda gunakan |
Kontrol 2
Pengukuran konversi menggunakan data cookie non-pihak ketiga saja |
| Konversi per dolar | Rata-rata | Rata-rata | Rata-rata |
| Simpangan baku | Simpangan baku | Simpangan baku | |
| Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | |
| Total konversi | Rata-rata | Rata-rata | Rata-rata |
| Simpangan baku | Simpangan baku | Simpangan baku | |
| Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | |
| Rasio konversi | Rata-rata | Rata-rata | Rata-rata |
| Simpangan baku | Simpangan baku | Simpangan baku | |
| Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | |
| (menambahkan metrik Anda sendiri) |
Sasaran 2 - Menentukan keefektifan Attribution Reporting API untuk pengoptimalan bidding
Kami mengusulkan penyiapan A/B untuk mengukur dampak terhadap pengoptimalan bidding.
- Untuk mengukur dampak terhadap pengoptimalan bidding, Anda perlu melatih dua model machine learning yang berbeda dan menggunakannya pada dua bagian traffic - satu model yang dilatih dengan metodologi pengukuran saat ini (cookie pihak ketiga + data cookie pihak ketiga) untuk diterapkan ke grup kontrol, dan satu model yang dilatih di Attribution Reporting API + data non-cookie pihak ketiga untuk diterapkan ke grup perlakuan.
- Pelatihan model harus didasarkan pada traffic sebanyak yang dianggap perlu oleh penguji untuk memaksimalkan performa, meskipun grup perlakuan merupakan bagian traffic yang lebih kecil dan ada tumpang tindih di antara populasi pelatihan (misalnya, gunakan model cookie pihak ketiga yang ada yang dilatih pada semua traffic, dan latih model ARA pada semua traffic ARA yang diaktifkan untuk Sasaran 1).
- Jika mengirimkan hasil ke CMA, perhatikan apakah ada perbedaan yang signifikan antara bagian traffic yang digunakan untuk melatih model yang berbeda (misalnya, jika model berbasis cookie pihak ketiga dilatih pada 100% traffic, tetapi model berbasis ARA hanya dilatih pada 1% traffic).
- Jika memungkinkan, pelatihan untuk model bidding perlakuan dan kontrol harus berlangsung selama jangka waktu yang sama.
- Pertimbangkan apakah Anda harus terus melatih dan memperbarui model bidding selama eksperimen, dan jika melakukannya, apakah Anda harus melatih sebanyak mungkin traffic atau hanya pada traffic dari grup perlakuan dan kontrol.
- Model yang berbeda harus digunakan pada irisan traffic yang terpisah-pisah sebagai eksperimen A/B. Untuk pengacakan dan penetapan pengguna di seluruh grup kontrol dan perlakuan, sebaiknya gunakan grup browser berlabel yang difasilitasi Chrome (Mode A) atau jalankan eksperimen Anda sendiri dengan kumpulan browser acak. Sebaiknya jangan gunakan Mode B karena kurangnya cookie pihak ketiga akan menyulitkan pelaporan tentang metrik berbasis konversi.
- Grup browser yang difasilitasi Chrome akan mengecualikan beberapa instance Chrome seperti pengguna Chrome Enterprise, saat kumpulan browser acak Anda sendiri mungkin tidak mengecualikan instance Chrome ini. Oleh karena itu, Anda sebaiknya menjalankan eksperimen hanya di grup Mode A, atau hanya di grup non-Mode A/Mode B guna menghindari perbandingan metrik yang diperoleh di grup yang difasilitasi Chrome dengan metrik yang diperoleh di luar grup yang difasilitasi Chrome.
- Jika tidak menggunakan grup browser berlabel yang difasilitasi Chrome (misalnya, menjalankan eksperimen pada traffic lain):
- Pastikan bahwa pemisahan perlakuan dan kontrol pengguna dilakukan secara acak dan tidak bias. Terlepas dari penyiapan grup eksperimen, evaluasi karakteristik grup perlakuan dan kontrol untuk memastikan grup perlakuan dan kontrol sebanding. (Lihat: Bagian 15)
- Pastikan karakteristik pengguna dan konfigurasi kampanye grup perlakuan dan kontrol sama (misalnya, gunakan geografis serupa di grup perlakuan dan kontrol). (Lihat: Bagian 28)
- Contoh spesifiknya mencakup: memastikan jenis konversi serupa diukur menggunakan periode atribusi dan logika atribusi yang sama, kampanye ini menargetkan audiens, grup minat, dan geografis serupa, serta menggunakan teks iklan dan format iklan yang serupa.
- Pastikan ukuran populasi awal untuk grup perlakuan dan kontrol cukup besar agar memiliki fleksibilitas untuk bidding dan eksperimen.
- Jika menggunakan grup browser berlabel yang difasilitasi Chrome (Mode A), pengacakan instance browser Chrome ke grup ditangani oleh Chrome. Sebaiknya Anda memeriksa, seperti sebelumnya, bahwa pengacakan menghasilkan kelompok yang tidak bias / sebanding untuk tujuan Anda.
Poin analisis yang disarankan
- Sebaiknya tentukan grup kontrol dan perlakuan, serta gunakan model machine learning yang berbeda untuk pengoptimalan bidding untuk setiap grup:
- Kontrol 1 - Menggunakan model pengoptimalan bidding yang dilatih berdasarkan metodologi pengukuran saat ini (cookie pihak ketiga + data cookie non-pihak ketiga)
- (opsional) Kontrol 2 - Menggunakan model pengoptimalan bidding yang dilatih tanpa Privacy Sandbox dan tanpa cookie pihak ketiga, yaitu, hanya data cookie non-pihak ketiga
- Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia di beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran di metodologi Kontrol 2 atau Perawatan.
- Perlakuan - Gunakan model pengoptimalan bidding yang dilatih di Attribution Reporting API dan data cookie non-pihak ketiga
- Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia di beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran di metodologi Kontrol 2 atau Perawatan.
Metrik
- Tentukan metrik yang tepat bagi bisnis Anda untuk mengukur hasil, dan sertakan deskripsi tentang arti metrik tersebut dan cara pengukurannya.
- Misalnya, metrik yang penting dapat berupa pembelanjaan (pendapatan penayang), yang selaras dengan panduan CMA untuk memahami dampak penghentian penggunaan cookie pihak ketiga terhadap "Pendapatan per tayangan". Lihat Pasal 19 untuk detail selengkapnya.
- Jika melaporkan metrik berbasis konversi, Anda harus menggunakan metodologi pengukuran yang sama untuk setiap grup, guna menghindari pengujian multi-variasi (menguji dampak terhadap pengoptimalan dan pelaporan dalam satu eksperimen). Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.
- Pertimbangkan cara lain untuk mengumpulkan metrik terkait dampak pengoptimalan bidding, misalnya, menggunakan simulasi bid. Apakah ada simulasi metrik yang akan berguna untuk memahami dampak cookie pihak ketiga dan ARA terhadap model bidding Anda?
- Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi kedua laporan (dan apakah laporan debug digunakan).
Analisis
- Cakupan:
- Apakah Anda dapat melakukan pengukuran di sekelompok pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat perubahan dalam cakupan (misalnya, pada aplikasi ke web)?
- Apakah Anda dapat mengukur konversi (dan dimensi/metrik) yang paling penting bagi Anda atau pengiklan Anda?
- Bagaimana perbedaan di antara kedua kelompok tersebut memengaruhi hal berikut:
- Pelaporan pengiklan, misalnya, berapa persentase konversi utama yang dapat Anda laporkan.
- Pelatihan dan pengoptimalan, misalnya, menyimulasikan dampak berbagai data konversi terhadap performa model.
- Masukan kualitatif lainnya:
- Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengoptimalan bidding pengiklan?
- Apakah ARA membantu atau menghambat pengiklan untuk berfokus pada metrik dan sasaran yang penting bagi mereka?
Tabel template yang disarankan untuk dampak bidding
(Bidding) Tabel 1:
Contoh tabel template hasil eksperimen yang harus dikirimkan oleh peserta pasar ke CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik apa yang paling bermakna / layak untuk disediakan dan menyesuaikan tabel tersebut sesuai kebutuhan).
|
Perlakuan vs Kontrol 1 Membandingkan status akhir yang diusulkan dengan status saat ini |
Perlakuan vs Kontrol 2 Membandingkan status akhir yang diusulkan tanpa API PS sama sekali. |
Kontrol 2 vs Kontrol 1 Membandingkan pengoptimalan bidding dengan dan tanpa cookie pihak ketiga, tanpa API PS. |
|
| Metodologi Pengukuran | Untuk menghindari pengujian multi-variasi, gunakan data cookie pihak ketiga dan cookie non-pihak ketiga guna mengukur metrik berbasis konversi untuk kedua grup di setiap eksperimen. | ||
| Pendapatan per tayangan | Efek | Efek | Efek |
| Kesalahan baku | Kesalahan baku | Kesalahan baku | |
| Interval keyakinan 95% | Interval keyakinan 95% | Interval keyakinan 95% | |
| (Menambahkan metrik Anda sendiri) | |||
(Bidding) Tabel 2:
Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / layak untuk disediakan dan menyesuaikan tabel tersebut sesuai kebutuhan).
|
Perlakuan Pengoptimalan bidding menggunakan ARA dan data cookie non-pihak ketiga yang Anda gunakan |
Kontrol 1 Pengoptimalan bidding menggunakan cookie pihak ketiga dan data cookie non-pihak ketiga yang Anda gunakan |
Kontrol 2 Pengoptimalan bidding menggunakan data cookie non-pihak ketiga saja |
|
| Metodologi Pengukuran | Untuk menghindari pengujian multi-variasi, gunakan data cookie pihak ketiga dan cookie non-pihak ketiga untuk mengukur metrik berbasis konversi di semua grup. | ||
| Pendapatan per tayangan | Rata-rata | Rata-rata | Rata-rata |
| Simpangan baku | Simpangan baku | Simpangan baku | |
| Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | Persentil ke-25 dan ke-75 | |
| (menambahkan metrik Anda sendiri) | |||