Panduan pengujian API Relevansi

Sebelum memulai

  • Publikasi ini harus ditinjau bersama dengan panduan pengujian CMA: Catatan eksperimen (November 2022), Panduan pengujian (Juni 2023), dan Panduan pengujian tambahan (Oktober 2023).
  • Tujuan dari dokumen ini adalah untuk memberikan panduan kepada peserta pasar mengenai kasus penggunaan, konfigurasi, struktur eksperimen, sasaran, dan praktik terbaik evaluasi untuk peserta pasar.

Prinsip desain eksperimen

Pastikan grup pengujian dan kontrol ditentukan dengan baik dan mengukur variabel yang sama.

Pengacakan & penetapan pengguna

  • Jika tidak hanya menggunakan grup eksperimen yang difasilitasi Chrome (misalnya, menjalankan eksperimen pada traffic lain), pastikan pemisahan pengujian dan kontrol pengguna dilakukan secara acak dan tidak bias. Terlepas dari penyiapan grup eksperimen, evaluasi karakteristik grup pengujian dan kontrol untuk memastikan grup pengujian/kontrol sebanding. Lihat: Pasal 15.
  • Pastikan karakteristik pengguna grup pengujian dan kontrol sama (misalnya, gunakan geografis serupa di grup pengujian dan kontrol). Lihat: Pasal 28.
  • Menggunakan desain eksperimen yang disarankan CMA, sertakan 3 grup eksperimen: perlakuan (API PS + sinyal lainnya) + kontrol 1 (tanpa 3PC + sinyal lainnya) + kontrol 2 (tanpa 3PC + tidak ada API PS + sinyal lainnya). Lihat: Bagian 10-14.
  • Pastikan penyiapan Anda memanfaatkan label pengujian yang difasilitasi Chrome semaksimal mungkin.
  • Perlu diingat bahwa Chrome berencana mengecualikan beberapa instance Chrome dari grup eksperimen ini karena alasan hukum, UX, dan / atau teknis. Hal ini mencakup Chrome Enterprise dan lainnya. Pengecualian ini akan identik untuk Mode A dan Mode B, begitu juga di Kontrol 1, Kontrol 2, dan Perlakuan. Oleh karena itu, Anda tidak boleh membandingkan metrik yang diperoleh di grup eksperimen dengan metrik yang diperoleh di luar grup tersebut.

Penyelarasan konfigurasi di seluruh grup pengujian & kontrol

  • Pastikan grup pengujian dan kontrol menggunakan konfigurasi kampanye yang sebanding, termasuk inventaris, format iklan, jenis kampanye, dan setelan kampanye yang serupa. Lihat: Pasal 28.
  • Contoh spesifiknya mencakup: memastikan jenis konversi serupa diukur menggunakan periode atribusi dan logika atribusi yang sama, kampanye ini menarget audiens, grup minat, wilayah geografis serupa, serta menggunakan teks iklan dan format iklan yang serupa. Lihat: Pasal 28.
  • Idealnya, DSP dapat mengelola pelaporan dan tidak harus mengandalkan perusahaan pihak ketiga yang mungkin menambahkan lapisan atribusi tambahan. Jika pelanggan DSP menggunakan perusahaan pihak ketiga untuk melakukan atribusi, pihak ketiga tersebut harus disertakan dalam rencana integrasi/pengujian serta dalam grup pengujian dan kontrol.
  • Pastikan setiap kampanye yang dikelola oleh DSP yang berpartisipasi memiliki peluang yang sama untuk berpartisipasi dalam lelang dalam grup perlakuan dan kontrol, dan bahwa perilaku bidding mereka di setiap grup tidak terpengaruh oleh kehadiran grup lainnya. Lihat: Pasal 25.

Pengumpulan & evaluasi metrik

  • Sebelum menilai hasil, pastikan perbedaan hasil antara grup pengujian dan kontrol signifikan secara statistik. Lihat: Pasal 25.
  • Untuk semua metrik, pastikan pencilan dinilai. Khususnya untuk metrik penjualan atau Laba atas Belanja Pengiklan (ROAS), logika atribusi sekali sentuh sangat rentan terhadap pencilan, yang dapat secara drastis memengaruhi hasil, dengan cara apa pun. Lihat: Lampiran.Tabel 2.
  • Jika menggunakan metode non-3PC untuk mengukur konversi (misalnya, dekorasi link, data pihak pertama, data kontekstual lainnya), pastikan metode tersebut digunakan dalam grup pengujian dan kontrol. Lihat: Pasal 13 & 14.
  • Pertimbangkan untuk menggunakan dua grup eksperimen yang berbeda, satu untuk mengukur Relevant API dan satu lagi untuk mengukur Attribution Reporting API. Hal ini menghindari pengujian multi-variasi dan mempermudah untuk memahami penyebab pengamatan Anda. Untuk mengetahui detail selengkapnya, tinjau Panduan pengujian pengukuran dan lihat tabel untuk mengetahui metode pengukuran yang direkomendasikan oleh grup eksperimen.
Perlakuan vs Kontrol 1
Membandingkan status akhir yang diusulkan dengan status saat ini. 		Perlakuan vs Kontrol 2
Membandingkan status akhir yang diusulkan tanpa API PS sama sekali. 		Kontrol 2 vs Kontrol 1
Membandingkan pengukuran konversi dengan dan tanpa 3 PC, tanpa API PS.
Metodologi pengukuran Untuk menghindari pengujian multi-variasi, gunakan data ARA dan non-3PC untuk mengukur metrik berbasis konversi untuk kedua grup. Untuk menghindari pengujian multi-variasi, hanya gunakan data non-3PC guna mengukur metrik berbasis konversi untuk kedua grup. Untuk menghindari pengujian multi-variasi, hanya gunakan data non-3PC guna mengukur metrik berbasis konversi untuk kedua grup.

Panduan implementasi

Bagian ini memberikan panduan tentang kasus penggunaan umum untuk API relevansi, serta konfigurasi minimum atau optimal untuk menyiapkan API. Penting untuk memahami kasus penggunaan mana yang penting bagi bisnis Anda dan memastikan konfigurasi Anda sesuai dengan persyaratan minimum sebelum melanjutkan ke bagian penyiapan eksperimen.

Kasus penggunaan

Kami telah mencantumkan beberapa kasus penggunaan umum dalam ruang relevansi iklan. Perhatikan bahwa kasus penggunaan mungkin melibatkan penggunaan beberapa API relevansi, tergantung pada kebutuhan setiap peserta pasar.

Brand awareness atau identifikasi calon pembeli

  • Minimal
    • Menggunakan sinyal Topics secara semantik sebagai segmen audiens.
    • Gunakan Protected Audience API untuk membuat segmen audiens dengan menambahkan pengunjung halaman web ke grup minat yang mewakili kategori kontekstual situs tersebut.
  • Optimal
    • Gunakan Topik bersama sinyal pribadi dan andal lainnya seperti data pihak pertama dan data kontekstual sebagai fitur dalam model machine learning, untuk menyimpulkan segmen audiens bagi pengguna.
    • Gunakan Protected Audience API untuk membuat segmen audiens dengan menambahkan pengunjung halaman web ke grup minat berdasarkan data pihak pertama, aktivitas pengguna tertentu, topik, atau sinyal kontekstual lainnya.
    • Gunakan Protected Audience API untuk membuat segmen audiens pihak pertama yang dapat ditawarkan untuk ekstensi audiens guna meningkatkan jangkauan kampanye pengiklan.

Pemasaran Ulang

  • Gunakan Protected Audience API untuk membuat segmen pemasaran ulang yang disesuaikan untuk suatu situs dengan membuat grup minat yang bergantung pada aktivitas pengguna.

Konfigurasi

Topics API

  • Minimum
    • (DSP) Teknologi iklan menggunakan topik sebagai sinyal dalam pemilihan iklan yang selaras dengan Maksimalkan relevansi iklan tanpa panduan cookie pihak ketiga yang dipublikasikan. Perlu diperhatikan bahwa sinyal Topics ini dapat dihasilkan dari DSP yang memanggil Topics API itu sendiri, dari sinyal Topics pemrosesan yang disediakan oleh SSP partner, atau keduanya.
    • (SSP) Teknologi iklan bekerja sama dengan sebagian penayangnya untuk menyertakan topik yang ditampilkan oleh Topics API dalam bidstream sesuai spesifikasi ORTB 2.x, yang mengharuskan teknologi iklan bekerja dengan situs untuk mengupgrade dan men-deploy library yang diperlukan (seperti dependensi bidding header) agar dapat memanggil Topics API di situs tersebut.
    • (SSP) Teknologi iklan memanggil Topics API di semua traffic tempat API tersedia untuk digunakan oleh teknologi iklan. Karena persyaratan pemfilteran per pemanggil, API perlu dipanggil setidaknya selama 3 minggu untuk memastikan ketersediaan maksimum. Untuk membantu melakukan hal ini, sebaiknya mulai memanggil Topics API bahkan sebelum partner DSP siap untuk mulai menggunakan sinyal.
  • Optimal
    • (DSP) Panggil Topics API pada pencapaian perjalanan konsumen yang bermakna ketika API tersedia untuk digunakan oleh teknologi iklan. Gunakan data ini untuk pelatihan ML, misalnya, dengan mengaitkan topik dengan data atribusi dan pihak pertama yang relevan.
    • (DSP) Mempelajari dan memperkenalkan fitur berbasis topik ke dalam model penargetan ML untuk meningkatkan segmentasi audiens. Jalankan inferensi model pada waktu penargetan untuk memperluas kemungkinan topik pengguna. Mencocokkan topik yang disimpulkan dengan kampanye pengiklan yang menargetkan segmen audiens tersebut.
    • (DSP) Jelajahi dan perkenalkan fitur berbasis topik ke dalam model bidding ML untuk meningkatkan prediksi Rasio Klik-Tayang (CTR) dan Rasio Konversi (CVR).

Protected Audience

  • (DSP) Teknologi iklan menerapkan semua dependensi sisi klien untuk berpartisipasi dalam lelang berbasis Protected Audience API.
    • Hal ini mencakup dependensi yang merupakan inti dari Protected Audience API (seperti JavaScript logika bidding) serta modul integrasi dan endpoint pelaporan.
  • (DSP) Teknologi iklan siap berpartisipasi dalam lelang berbasis Protected Audience API yang dapat ditagih pada Kuartal 1 - Kuartal 2 2024.
    • Hal ini akan mengharuskan teknologi iklan untuk mengidentifikasi dan berkoordinasi dengan partner dan situs pengujian SSP untuk menyelaraskan sasaran, handshake integrasi, dan linimasa untuk menjalankan pengujian end-to-end.
  • (DSP) Teknologi iklan menggunakan server nilai kunci untuk mengambil sinyal real-time untuk membuat bid.
    • Hal ini akan mengharuskan teknologi iklan mengidentifikasi kasus penggunaan utama yang memerlukan sinyal real-time, seperti menghentikan kampanye yang telah membelanjakan seluruh anggarannya, dan menyertakan sinyal real-time ini dalam JavaScript logika bidding.
  • (DSP) Teknologi iklan memiliki pendekatan tingkat tinggi untuk performa dalam lelang Protected Audience.
    • Pendekatan tingkat tinggi ini secara luas terdiri atas tiga aspek: mengukur performa, menganalisis data, dan menyempurnakan implementasinya secara berulang untuk meningkatkan performa.
  • (SSP) Teknologi iklan siap berpartisipasi dalam lelang Protected Audience yang dapat ditagih pada Kuartal 1 - Kuartal 2 2024.
    • Hal ini termasuk menerapkan dan men-deploy dependensi yang merupakan inti dari Protected Audience API (seperti JavaScript logika keputusan) serta modul integrasi atau orkestrasi, adaptor (seperti dependensi bidding header), dan endpoint pelaporan.
  • (SSP) Teknologi iklan menggunakan server nilai kunci untuk mengambil sinyal real-time untuk penskoran iklan.
    • Hal ini akan mengharuskan teknologi iklan untuk mengidentifikasi kasus penggunaan utama yang memerlukan sinyal real-time, seperti memenuhi persyaratan kualitas iklan, dan menyertakan sinyal real-time ini ke dalam JavaScript logika keputusan mereka.
  • (SSP) Teknologi iklan memiliki pendekatan tingkat tinggi dalam mengelola persyaratan skala dan volume traffic untuk deployment produksi.
    • Hal ini akan mengharuskan teknologi iklan untuk berkoordinasi dengan partner pengujian DSP-nya guna menentukan niat mereka untuk berpartisipasi dalam lelang berbasis Protected Audience API dan sinyal sumber tertentu

Sasaran evaluasi dan konfigurasi eksperimen yang diusulkan

Untuk evaluasi ini, sebaiknya gunakan label Mode A dan B yang difasilitasi Chrome.

Penyiapan eksperimen yang diusulkan

  • Menggunakan desain eksperimen yang disarankan oleh CMA, termasuk 3 grup: (Lihat: Bagian 10-14)
    • Control 1: Traffic Mode A, grup control_1.* (3PC + API Privacy Sandbox + Sinyal Lainnya)
    • Kontrol 2: Grup control_2 Mode B (tidak ada 3PC + tidak ada API Privacy Sandbox + Sinyal Lainnya).
    • Perlakuan: Grup mode B perlakuan_1.* (tanpa 3PC, dengan API Privacy Sandbox + SIgnal Lainnya)
  • Kami memahami bahwa peserta pasar menggunakan berbagai sinyal selain 3PC untuk menetapkan iklan ke permintaan iklan, misalnya data penayang pihak pertama dan informasi kontekstual. Sejauh sinyal ini tidak terpengaruh oleh perubahan yang diusulkan (penghentian 3PC dan pengenalan Privacy Sandbox API), sinyal tersebut harus dipertahankan di grup kontrol dan perlakuan.
  • Perlu diketahui bahwa mungkin ada beberapa 3PC yang masih tersedia untuk beberapa situs. Penguji tidak boleh menggunakan 3PC tersebut untuk kasus penggunaan yang relevan di grup Kontrol 2 atau Perawatan. 3PC tersebut dirancang untuk mengatasi kerusakan non-iklan.
  • Perhatikan bahwa Privacy Sandbox API akan tersedia di kontrol 1, tetapi seperti yang diuraikan dalam panduan CMA tentang pengujian industri, peserta pengujian tidak boleh menggunakan Topics API atau menjalankan lelang Protected Audience untuk traffic ini.
  • Lihat Pengujian yang difasilitasi Chrome untuk mengetahui label, ukuran, dan karakteristik setiap grup.

Metodologi metrik yang diusulkan

  • Kami tidak mengusulkan metodologi khusus untuk mengumpulkan atau menghitung metrik. Namun, kami sangat menyarankan penguji untuk memberikan transparansi terkait metodologi tersebut. Hal ini akan memungkinkan mereka yang menganalisis hasil pengujian (yaitu, badan pengatur) yang disediakan oleh berbagai perusahaan untuk mendapatkan informasi tentang varians dan membuat keputusan tentang cara membandingkan di antara hasil pengujian.
  • Kami menyadari bahwa pengumpulan beberapa metrik mungkin memerlukan penggunaan Agregasi Pribadi, yang mungkin belum diintegrasikan dengan beberapa penguji pada saat pengujian.
  • Sebisa mungkin, peserta dapat melaporkan metrik yang terkait dengan aktivitas bidding dan jumlah minat yang ditarik oleh lelang, seperti jumlah bid yang berhasil masuk ke lelang atau nilai bid rata-rata.
Grup Eksperimen Perlakuan Kontrol 2 Kontrol 1
Mode Lalu Lintas Mode B (3PCD) Mode B' (3PCD + PA + peredaman topik) Quo Status (tanpa 3PCD)
Relevansi API diterapkan PA+Sinyal +kontekstual Hanya sinyal kontekstual Sinyal berbasis cookie + sinyal kontekstual

Sasaran 1 - (DSP) Mengukur dampak 3PCD terhadap periklanan menurut minat

Metrik

Sertakan metrik utama yang diminta oleh CMA, dan, jika memungkinkan, pertimbangkan untuk menyertakan metrik lain yang mungkin berguna, seperti:

  • Jumlah rata-rata topik yang diterima: Jumlah topik yang diterima dalam permintaan bid. Ini adalah ukuran cakupan Topic API.
  • Waktu rata-rata yang dihabiskan: Waktu rata-rata saat setidaknya 50% piksel iklan berada di area tampilan pengguna, setelah iklan mulai dirender. Skor Kualitas adalah ukuran engagement iklan.
  • Klik per tayangan iklan (alias rasio klik-tayang): Jumlah rata-rata klik per tayangan. Ukuran relevansi iklan.
  • Klik per nominal: Jumlah rata-rata klik per dolar. Skor Kualitas adalah ukuran kualitas iklan yang diterima oleh pengiklan.
  • Konversi per dolar: Jumlah rata-rata konversi per dolar. Skor Kualitas adalah ukuran kualitas iklan yang diterima oleh pengiklan.
  • Rasio konversi: Jumlah rata-rata konversi per klik, yang ditampilkan sebagai persentase. Skor Kualitas adalah ukuran kualitas traffic yang diterima oleh pengiklan.
  • Total respons bid unik: Total jumlah respons bid yang dikirim oleh DSP. Ini adalah proxy permintaan untuk layanan teknologi iklan individual.
  • Penonton unik: Jumlah pengguna unik yang dijangkau oleh iklan pengiklan. Ini adalah ukuran jangkauan.
  • Rasio penyelesaian video: Waktu rata-rata saat setidaknya 50% piksel iklan berada di area pandang pengguna untuk keseluruhan durasi iklan video, setelah video dirender dan mulai diputar. Skor Kualitas adalah ukuran engagement iklan.

Poin analisis yang disarankan

  • Apakah pengiklan dapat menjangkau target audiens mereka, pada skala yang diinginkan?
  • Bagaimana pengaruh perubahan dan engagement iklan?
  • Bagaimana kualitas iklan yang diterima pengiklan terpengaruh oleh perubahan tersebut?
  • Apakah pengiklan dapat beriklan dengan cara yang hemat biaya? Dengan kata lain, apakah mereka mampu mendapatkan pelanggan baru pada tingkat yang lebih rendah dari nilai yang dihasilkan oleh pelanggan tersebut selama jangka waktu yang wajar?
  • Apakah ada hal penting yang harus dipertimbangkan saat mengevaluasi hasil eksperimen peserta pasar?
  • Bagaimana hasilnya dibandingkan dengan pengujian sebelumnya yang dilakukan oleh peserta pasar, jika ada?
  • Apa saja potensi hambatan yang memengaruhi performa? Sebaliknya, faktor apa saja yang mendorong performa?

Sasaran 2 - (DSP) Mengukur dampak 3PCD terhadap pemasaran ulang

Metrik

Sertakan metrik utama yang diminta oleh CMA, dan, jika memungkinkan, pertimbangkan untuk menyertakan metrik lain yang mungkin berguna, seperti:

  • Waktu rata-rata yang dihabiskan: Waktu rata-rata saat setidaknya 50% piksel iklan berada di area tampilan pengguna, setelah iklan mulai dirender. Skor Kualitas adalah ukuran engagement iklan.
  • Klik per tayangan iklan (alias rasio klik-tayang): Jumlah rata-rata klik per tayangan. Ukuran relevansi iklan.
  • Klik per nominal: Jumlah rata-rata klik per dolar. Skor Kualitas adalah ukuran kualitas iklan yang diterima oleh pengiklan.
  • Konversi per dolar: Jumlah rata-rata konversi per dolar. Skor Kualitas adalah ukuran kualitas iklan yang diterima oleh pengiklan.
  • Rasio konversi: Jumlah rata-rata konversi per klik, yang ditampilkan sebagai persentase. Skor Kualitas adalah ukuran kualitas traffic yang diterima oleh pengiklan.
  • Total respons bid unik: Total jumlah respons bid yang dikirim oleh DSP. Ini adalah proxy permintaan untuk layanan teknologi iklan individual.
  • Penonton unik: Jumlah pengguna unik yang dijangkau oleh iklan pengiklan. Ini adalah ukuran jangkauan.
  • Rasio penyelesaian video: Waktu rata-rata saat setidaknya 50% piksel iklan berada di area pandang pengguna untuk keseluruhan durasi iklan video, setelah video dirender dan mulai diputar. Skor Kualitas adalah ukuran engagement iklan.

Poin analisis yang disarankan

  • Apakah pengiklan dapat menjangkau target audiens mereka, pada skala yang diinginkan?
  • Bagaimana pengaruh perubahan dan engagement iklan?
  • Bagaimana kualitas iklan yang diterima pengiklan terpengaruh oleh perubahan tersebut?
  • Apakah pengiklan dapat beriklan dengan cara yang hemat biaya? Dengan kata lain, apakah mereka mampu mendapatkan pelanggan baru pada tingkat yang lebih rendah dari nilai yang dihasilkan oleh pelanggan tersebut selama jangka waktu yang wajar?
  • Apakah ada hal penting yang harus dipertimbangkan saat mengevaluasi hasil eksperimen peserta pasar?
  • Bagaimana hasilnya dibandingkan dengan pengujian sebelumnya yang dilakukan oleh peserta pasar, jika ada?
  • Apa saja potensi hambatan yang memengaruhi performa? Sebaliknya, faktor apa saja yang mendorong performa?

Sasaran 3 - (SSP) Mengukur dampak 3PCD pada lelang yang tidak difasilitasi oleh Protected Audience API

Metrik

Sertakan metrik utama yang diminta oleh CMA, dan metrik lainnya yang mungkin berguna, seperti:

  • % perubahan pada pembelanjaan kampanye yang direncanakan: Pembelanjaan pengiklan di kampanye. Ukuran pangsa pendapatan penayang dan teknologi iklan.
  • Jumlah rata-rata topik yang dikirim: Jumlah rata-rata topik yang dikirim dalam permintaan bid. Ini adalah ukuran cakupan Topic API.
  • Latensi lelang: Waktu rata-rata untuk menjalankan lelang. Untuk SSP, diukur dari eksekusi pertama kode sisi klien SSP, hingga saat SSP memilih bid dan mengirimkannya ke server iklan. Untuk server iklan, diukur dari eksekusi tag iklan hingga iklan yang dirender. Rasio ini mengukur seberapa cepat lelang dijalankan.
  • Pendapatan per tayangan: Pendapatan rata-rata yang dihasilkan per tayangan. Ukuran pendapatan penayang.
  • Total permintaan bid unik: Total jumlah permintaan bid unik yang dikirim oleh SSP. Ini adalah proxy permintaan untuk layanan teknologi iklan individual.

Poin analisis yang disarankan

  • Bagaimana perubahan latensi memengaruhi kemampuan SSP untuk menjalankan lelang? Bagaimana pengaruhnya terhadap latensi halaman penayang?
  • Bagaimana pengaruh latensi terhadap pendapatan penayang? Berapa jumlah topik yang dikirim dalam permintaan bid?
  • Bagaimana pengaruh permintaan untuk layanan teknologi iklan SSP?
  • Apakah SSP dapat melaporkan KPI terkait lelang yang penting bagi bisnis penayang? Untuk bisnis mereka sendiri?
  • Apakah ada hal penting yang harus dipertimbangkan saat mengevaluasi hasil eksperimen peserta pasar?
  • Bagaimana hasilnya dibandingkan dengan pengujian sebelumnya yang dilakukan oleh peserta pasar, jika ada?
  • Apa saja potensi hambatan yang memengaruhi performa? Sebaliknya, faktor apa saja yang mendorong performa?

Sasaran 4 - (SSP) Menentukan efektivitas lelang Protected Audience API

Metrik

Sertakan metrik utama yang diminta oleh CMA, dan metrik lainnya yang mungkin berguna, seperti:

  • Latensi lelang: Waktu rata-rata untuk menjalankan lelang. Untuk SSP, yang diukur dari eksekusi pertama kode sisi klien SSP, untuk melaporkan hasil. Untuk server iklan, diukur dari eksekusi tag iklan hingga iklan yang dirender. Rasio ini mengukur seberapa cepat lelang dijalankan.
  • Pendapatan per tayangan: Pendapatan rata-rata yang dihasilkan per tayangan. Ukuran pendapatan penayang.
  • Rasio pengisian: Rasio pengisian mengukur persentase permintaan bid yang berhasil diisi SSP dengan iklan. Untuk menghitung, bagi total tayangan iklan dengan total jumlah permintaan bid dari SSP.
  • Rasio Waktu Habis: % Lelang yang tidak selesai karena telah mencapai waktu tunggu yang dapat dikonfigurasi SSP.
  • Total permintaan bid unik: Total jumlah permintaan bid unik yang dikirim oleh SSP. Ini adalah proxy permintaan untuk layanan teknologi iklan individual.

Poin analisis yang disarankan

  • Bagaimana perubahan latensi memengaruhi kemampuan SSP untuk menjalankan lelang? Bagaimana pengaruhnya terhadap latensi halaman penayang?
  • Bagaimana waktu tunggu memengaruhi kemampuan DSP untuk mengajukan bid?
  • Bagaimana pengaruh latensi terhadap pendapatan penayang? Berapa jumlah topik yang dikirim dalam permintaan bid?
  • Bagaimana pengaruh permintaan untuk layanan teknologi iklan SSP?
  • Apakah SSP dapat melaporkan KPI terkait lelang yang penting bagi bisnis penayang? Untuk bisnis mereka sendiri?
  • Apakah ada hal penting yang harus dipertimbangkan saat mengevaluasi hasil eksperimen peserta pasar?
  • Bagaimana hasilnya dibandingkan dengan pengujian sebelumnya yang dilakukan oleh peserta pasar, jika ada?
  • Apa saja potensi hambatan yang memengaruhi performa? Sebaliknya, faktor apa saja yang mendorong performa?