Laboratorium

Tentang dokumen ini

Dengan membaca dokumen ini, Anda akan:

  • Pahami strategi yang harus dibuat sebelum membuat laporan ringkasan.
  • Memperkenalkan Noise Lab, alat yang membantu memahami efek berbagai parameter kebisingan, dan yang memungkinkan eksplorasi dan penilaian cepat terhadap berbagai strategi pengelolaan kebisingan.
Screenshot Noise Lab
Lab Kebisingan

Beri masukan

Meskipun dokumen ini merangkum beberapa prinsip untuk bekerja dengan laporan ringkasan, ada beberapa pendekatan untuk manajemen kebisingan yang mungkin tidak direfleksikan di sini. Saran, tambahan, dan pertanyaan Anda sangat kami nantikan.

  • Untuk memberikan masukan{i> <i}publik tentang strategi pengelolaan kebisingan, di utilitas atau privasi API (epsilon), dan untuk membagikan pengamatan Anda saat menyimulasikan dengan Noise Lab: Komentari masalah ini
  • Untuk memberikan masukan{i> <i}publik tentang Noise Lab (mengajukan pertanyaan, melaporkan {i>bug<i}, minta fitur): Laporkan masalah baru di sini
  • Untuk memberikan masukan publik tentang aspek API lainnya: Laporkan masalah baru di sini

Sebelum memulai

  1. Baca Pelaporan Atribusi: laporan ringkasan dan ringkasan sistem lengkap Pelaporan Atribusi untuk mengetahui pengantar.
  2. Pindai Memahami derau dan Memahami kunci agregasi untuk mengoptimalkan panduan ini.

Keputusan desain

Prinsip desain inti

Ada perbedaan mendasar antara cara operasi cookie pihak ketiga dan laporan ringkasan. Satu perbedaan utama adalah noise yang ditambahkan ke data pengukuran dalam laporan ringkasan. Cara lainnya adalah penjadwalan laporan.

Untuk mengakses data pengukuran laporan ringkasan dengan sinyal untuk gangguan yang lebih tinggi rasio, platform sisi permintaan (DSP), dan penyedia pengukuran iklan harus bekerja sama dengan pengiklan untuk mengembangkan strategi pengelolaan derau. Untuk mengembangkan strategi ini, DSP dan penyedia pengukuran perlu membuat keputusan desain. Keputusan ini berkisar pada satu konsep penting:

Meskipun nilai derau distribusi diambil, secara umum, hanya bergantung pada dua parameter⏤epsilon dan anggaran kontribusi⏤Anda memiliki sejumlah kontrol lain yang dapat memengaruhi rasio sinyal terhadap derau untuk data pengukuran output Anda.

Meskipun kami mengharapkan proses berulang akan mengarah pada keputusan terbaik, setiap variasi pada keputusan ini mengarah pada penerapan yang sedikit berbeda. Oleh karena itu, keputusan ini harus diambil sebelum menulis setiap iterasi kode (dan sebelum menjalankan iklan).

Keputusan: Perincian dimensi

Coba di Noise Lab

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Amati parameter default. Secara default, TOTAL harian jumlah konversi yang dapat diatribusikan adalah 1.000. Ini rata-rata menjadi sekitar 40 per jika Anda menggunakan konfigurasi default (dimensi default, jumlah nilai yang berbeda untuk setiap dimensi, Strategi kunci A). Perhatikan bahwa nilainya adalah 40 dalam input Jumlah konversi harian rata-rata yang dapat diatribusikan PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Di panel samping Parameter, cari Dimensi. Ganti nama Geografi ke Kota dan ubah jumlah kemungkinan nilai yang berbeda menjadi 50.
  6. Amati bagaimana hal ini mengubah Konversi yang dapat diatribusikan harian rata-rata jumlah PER BUCKET. Sekarang jumlahnya jauh lebih rendah. Hal ini karena jika Anda meningkatkan jumlah kemungkinan nilai dalam dimensi ini tanpa mengubah hal lainnya, Anda dapat meningkatkan jumlah total bucket tanpa mengubah berapa banyak peristiwa konversi di setiap bucket.
  7. Klik Simulasikan.
  8. Amati rasio derau dari simulasi yang dihasilkan: rasio derau sekarang lebih tinggi dari simulasi sebelumnya.

Dengan mempertimbangkan prinsip desain inti, nilai ringkasan kecil cenderung lebih berisik daripada nilai ringkasan yang besar. Oleh karena itu, pilihan konfigurasi Anda memengaruhi jumlah peristiwa konversi yang diatribusikan di setiap bucket (jika tidak, disebut sebagai kunci agregasi), dan jumlah itu memengaruhi derau di laporan ringkasan output akhir.

Satu keputusan desain yang memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah perincian dimensi. Perhatikan contoh berikut kunci agregasi dan dimensinya:

  • Pendekatan 1: satu struktur utama dengan dimensi umum: Negara x Kampanye Iklan (atau kampanye terbesar bucket agregasi) x Tipe Produk (dari 10 kemungkinan jenis produk)
  • Pendekatan 2: satu struktur utama dengan dimensi terperinci: Kota x ID Materi Iklan x Produk (dari 100 produk yang mungkin)

Kota adalah dimensi yang lebih terperinci daripada Negara; ID Materi Iklan lebih terperinci daripada Kampanye; dan Produk lebih terperinci daripada Tipe produk. Oleh karena itu, Pendekatan 2 akan memiliki jumlah peristiwa (konversi) yang lebih rendah per bucket (= per kunci) dalam output laporan ringkasannya daripada Pendekatan 1. Mengingat bahwa noise yang ditambahkan ke outputnya tidak bergantung pada jumlah peristiwa dalam bucket, data pengukuran dalam laporan ringkasan akan lebih bermasalah dengan Pendekatan 2. Untuk setiap pengiklan, bereksperimenlah dengan berbagai tradeoff perincian dalam desain kunci untuk memperoleh utilitas maksimum hasilnya.

Keputusan: Struktur utama

Coba di Noise Lab

Dalam mode Sederhana, struktur kunci default digunakan. Di Advanced Anda dapat bereksperimen dengan berbagai struktur kunci. Beberapa contoh dimensi termasuk; Anda juga dapat memodifikasinya.

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Strategi utama. Amati bahwa strategi default, bernama A pada alat, menggunakan satu kunci terperinci struktur yang mencakup semua dimensi: Geografi x ID Kampanye x Produk kategori.
  3. Klik Simulasikan.
  4. Amati rasio derau dari simulasi yang dihasilkan.
  5. Ubah Strategi utama menjadi B. Tindakan ini menampilkan kontrol tambahan bagi Anda untuk mengkonfigurasi struktur kunci Anda.
  6. Konfigurasi struktur kunci Anda, mis. sebagai berikut:
    1. Jumlah struktur kunci: 2
    2. Struktur kunci 1 = Geografi x Kategori produk.
    3. Struktur kunci 2 = ID Kampanye x Kategori produk.
  7. Klik Simulasikan.
  8. Perhatikan bahwa Anda sekarang mendapatkan dua laporan ringkasan per jenis sasaran pengukuran (dua untuk jumlah pembelian, dua untuk nilai pembelian), mengingat Anda menggunakan dua struktur kunci yang berbeda. Amati rasio deraunya.
  9. Anda juga dapat mencobanya dengan dimensi kustom Anda sendiri. Untuk melakukannya, lihat untuk Data yang ingin Anda lacak: Dimensi. Pertimbangkan untuk menghapus contoh dimensi kustom, dan membuatnya sendiri menggunakan tombol Add/Remove/Reset di bawah dimensi terakhir.

Keputusan desain lain yang akan memengaruhi jumlah konversi yang diatribusikan peristiwa dalam satu bucket adalah struktur utama yang Anda putuskan untuk digunakan. Perhatikan contoh kunci agregasi berikut:

  • Satu struktur utama dengan semua dimensi; sebut saja Strategi Utama A ini.
  • Dua struktur utama, masing-masing dengan subset dimensi; sebut saja ini Strategi Utama B.
Diagram:

Strategi A lebih sederhana—tetapi Anda mungkin perlu menggabungkan (menjumlahkan) nilai ringkasan yang berisi laporan ringkasan yang berisi laporan ringkasan untuk mengakses insight tertentu. Dengan menjumlahkan nilai-nilai ini, Anda juga menjumlahkan noise. Dengan Strategi B, nilai ringkasan ditampilkan dalam ringkasan laporan mungkin sudah memberikan informasi yang Anda butuhkan. Ini berarti bahwa Strategi B cenderung akan menghasilkan rasio sinyal terhadap gangguan yang lebih baik dibandingkan Strategi A. Namun, derau mungkin sudah dapat diterima dengan Strategi A, jadi Anda mungkin masih memutuskan untuk Strategi A untuk kemudahan. Pelajari lebih lanjut dalam contoh mendetail yang menguraikan dua strategi ini.

{i>Key management<i} adalah topik yang mendalam. Sejumlah teknik yang rumit dapat digunakan dipertimbangkan untuk meningkatkan rasio sinyal terhadap gangguan. Salah satunya dijelaskan dalam Advanced key: pengelolaan akun.

Keputusan: Frekuensi pengelompokan

Coba di Noise Lab

  1. Masuk ke mode Sederhana (atau mode {i>Advanced<i} — kedua mode bekerja dengan cara yang sama dalam hal frekuensi pengelompokan)
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Frekuensi pengelompokan. Ini mengacu pada frekuensi pengelompokan laporan agregat yang diproses dengan layanan agregasi dalam pada satu tugas saja.
  3. Amati frekuensi pengelompokan default: secara default, pengelompokan harian frekuensinya akan disimulasikan.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Ubah frekuensi pengelompokan menjadi mingguan.
  7. Amati rasio derau dari simulasi yang dihasilkan: rasio derau sekarang lebih rendah (lebih baik) dibandingkan simulasi sebelumnya.

Keputusan desain lain yang akan memengaruhi jumlah konversi yang diatribusikan peristiwa dalam satu bucket adalah frekuensi pengelompokan yang Anda gunakan. Tujuan frekuensi pengelompokan adalah seberapa sering Anda memproses laporan agregat.

Laporan yang dijadwalkan untuk digabungkan lebih sering (mis. setiap jam) akan memiliki lebih sedikit peristiwa konversi yang disertakan daripada laporan yang sama dengan frekuensi jadwal agregasi (mis. setiap minggu). Akibatnya, laporan per jam akan menyertakan lebih banyak derau.``` memiliki lebih sedikit peristiwa konversi yang disertakan daripada laporan yang sama dengan frekuensi jadwal agregasi (mis. setiap minggu). Akibatnya, laporan per jam akan memiliki rasio sinyal terhadap gangguan yang lebih rendah dari laporan mingguan, semua lainnya sama. Bereksperimenlah dengan persyaratan pelaporan di berbagai frekuensi, dan nilai rasio sinyal terhadap derau untuk setiap frekuensi.

Pelajari lebih lanjut di Pengelompokan dan Menambahkan data dalam jangka waktu yang lebih lama.

Keputusan: Variabel kampanye yang memengaruhi konversi yang dapat diatribusikan

Coba di Noise Lab

Meskipun hal ini mungkin sulit diprediksi dan dapat memiliki variasi yang signifikan dalam selain efek tren musiman, coba dan perkirakan jumlah konversi yang dapat diatribusikan satu sentuhan dengan pangkat terdekat dari 10: 10, 100, 1.000, atau 10.000.

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Amati parameter default. Secara default, TOTAL harian jumlah konversi yang dapat diatribusikan adalah 1.000. Ini rata-rata menjadi sekitar 40 per jika Anda menggunakan konfigurasi default (dimensi default, jumlah nilai yang berbeda untuk setiap dimensi, Strategi kunci A). Perhatikan bahwa nilainya adalah 40 dalam input Jumlah konversi harian rata-rata yang dapat diatribusikan PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Sekarang tetapkan TOTAL jumlah konversi yang dapat diatribusikan harian ke 100. Perhatikan bahwa tindakan ini menurunkan nilai Rata-rata harian yang dapat diatribusikan jumlah konversi PER BUCKET.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau sekarang lebih tinggi: ini karena saat Anda memiliki lebih sedikit konversi per bucket, lebih banyak derau diterapkan untuk mempertahankan privasi.

Perbedaannya adalah jumlah total kemungkinan konversi untuk pengiklan, vs. jumlah total kemungkinan konversi teratribusi. Tujuan yang terakhir adalah faktor yang pada akhirnya memengaruhi derau dalam laporan ringkasan. Diatribusikan konversi adalah subkumpulan dari total konversi yang rentan terhadap kampanye variabel, seperti anggaran iklan dan penargetan iklan. Misalnya, Anda memperkirakan jumlah konversi yang diatribusikan lebih tinggi untuk kampanye iklan $10 juta vs. iklan $10 ribu kampanye, sedangkan yang lainnya sama.

Hal yang perlu diperhatikan:

  • Menilai konversi yang diatribusikan berdasarkan perangkat yang sama dengan satu sentuhan model atribusi karena berada dalam cakupan laporan ringkasan yang dikumpulkan dengan Attribution Reporting API.
  • Pertimbangkan jumlah skenario terburuk dan jumlah skenario kasus terbaik untuk konversi yang diatribusikan. Misalnya, jika semua hal lainnya sama, pertimbangkan anggaran kampanye minimum dan maksimum untuk pengiklan, kemudian memproyeksikan konversi yang dapat diatribusikan untuk kedua hasil sebagai input ke simulasi.
  • Jika Anda mempertimbangkan untuk menggunakan Privacy Sandbox Android, pertimbangkan konversi yang diatribusikan lintas platform dalam penghitungan.

Keputusan: Menggunakan penskalaan

Coba di Noise Lab

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan. Secara default sudah disetel ke Ya.
  3. Demi memahami efek positif penskalaan pada noise pertama, tetapkan Penskalaan ke Tidak.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Tetapkan Penskalaan ke Ya. Perhatikan bahwa Noise Lab otomatis menghitung faktor penskalaan yang akan digunakan dengan mempertimbangkan rentang (nilai rata-rata dan maksimum) dari tujuan pengukuran untuk skenario Anda. Dalam sistem nyata atau uji coba origin penyiapan, Anda ingin mengimplementasikan kalkulasi Anda sendiri untuk faktor penskalaan.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau sekarang lebih rendah (lebih baik) dalam detik ini simulasi. Hal ini terjadi karena Anda menggunakan penskalaan.

Berdasarkan prinsip desain inti, derau yang ditambahkan akan fungsi dari anggaran kontribusi.

Oleh karena itu, untuk meningkatkan rasio sinyal terhadap gangguan, Anda dapat memutuskan untuk mengubah nilai yang dikumpulkan selama peristiwa konversi dengan menskalakannya berdasarkan anggaran kontribusi (dan menghapus penskalaannya setelah penggabungan). Gunakan penskalaan untuk meningkatkan rasio sinyal terhadap derau.

Keputusan: Jumlah sasaran pengukuran dan pemisahan anggaran privasi

Hal ini berkaitan dengan Penskalaan; pastikan untuk membaca Menggunakan penskalaan.

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan dalam peristiwa konversi.

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Data yang ingin Anda lacak: Sasaran pengukuran. Secara default, Anda memiliki dua sasaran pengukuran: pembelian pelanggan, dan jumlah pembelian.
  3. Klik Simulasikan untuk menjalankan simulasi dengan sasaran default.
  4. Klik Hapus. Tindakan ini akan menghapus sasaran pengukuran terakhir (pembelian dalam kasus tersebut).
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau untuk nilai pembelian kini lebih rendah (lebih baik) untuk simulasi kedua ini. Hal ini karena Anda memiliki lebih sedikit sasaran pengukuran, jadi satu sasaran pengukuran Anda sekarang mendapatkan semua anggaran kontribusi.
  7. Klik Reset. Sekarang Anda memiliki lagi dua sasaran pengukuran: pembelian pelanggan, dan jumlah pembelian. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan dengan mempertimbangkan rentang (nilai rata-rata dan maksimum) dari tujuan pengukuran untuk skenario Anda. Secara {i>default<i}, Noise Lab membagi anggaran secara merata untuk seluruh sasaran pengukuran.
  8. Klik Simulasikan.
  9. Amati rasio derau dari simulasi yang dihasilkan. Catat faktor penskalaan yang ditampilkan pada simulasi.
  10. Sekarang, mari sesuaikan pembagian anggaran privasi untuk mencapai rasio sinyal terhadap kebisingan.
  11. Sesuaikan % Anggaran yang ditetapkan untuk setiap sasaran pengukuran. Dengan default Parameter, sasaran Pengukuran 1, yaitu nilai pembelian, memiliki pengaruh rentang yang lebih luas (antara 0 dan 1000) dari sasaran Pengukuran 2, yaitu jumlah pembelian (antara 1 dan 1 yaitu selalu sama dengan 1). Karena hal ini, diperlukan “lebih banyak ruang untuk penskalaan”: akan lebih ideal untuk menetapkan lebih banyak anggaran kontribusi untuk sasaran Pengukuran 1 daripada sasaran Pengukuran 2, sehingga dapat ditingkatkan skalanya dengan lebih efisien (lihat Penskalaan), sehingga
  12. Tetapkan 70% anggaran ke sasaran Pengukuran 1. Tetapkan 30% untuk Pengukuran tujuan 2.
  13. Klik Simulasikan.
  14. Amati rasio derau dari simulasi yang dihasilkan. Untuk pembelian rasio noise kini jauh lebih rendah (lebih baik) dibandingkan simulasi. Untuk jumlah pembelian, mereka kurang lebih tidak berubah.
  15. Terus sesuaikan pemisahan anggaran di seluruh metrik. Amati bagaimana hal ini berdampak derau.

Perhatikan bahwa Anda dapat menetapkan sasaran pengukuran kustom Anda sendiri dengan Tombol Tambahkan/Hapus/Reset.


Jika Anda mengukur satu titik data (sasaran pengukuran) pada peristiwa konversi, seperti jumlah konversi, titik data tersebut dapat memperoleh semua anggaran kontribusi (65536). Jika Anda menetapkan beberapa sasaran pengukuran untuk satu peristiwa konversi, seperti jumlah konversi dan nilai pembelian, titik data tersebut harus berbagi anggaran kontribusi. Ini berarti Anda memiliki lebih sedikit kesempatan untuk meningkatkan masing-masing.

Oleh karena itu, makin banyak sasaran pengukuran yang Anda miliki, makin rendah rasio sinyal terhadap gangguan (noise yang lebih tinggi).

Keputusan lain yang harus dibuat terkait sasaran pengukuran adalah pembagian anggaran. Jika Anda membagi anggaran kontribusi secara merata di dua titik data, setiap titik data akan mendapatkan anggaran 65.536/2 = 32.768. Ini mungkin atau mungkin tidak optimal tergantung pada nilai maksimum untuk setiap titik data. Misalnya, jika Anda mengukur jumlah pembelian yang memiliki nilai maksimum 1, dan nilai pembelian dengan minimum 1 dan maksimum 120, nilai pembelian akan mendapatkan manfaat dari adanya "lebih banyak ruang" ditingkatkan—yaitu, untuk mendapatkan proporsi yang lebih besar dari anggaran kontribusi. Anda akan melihat apakah beberapa sasaran pengukuran harus diprioritaskan daripada lainnya dalam kaitannya dengan dampak kebisingan.

Keputusan: Manajemen {i>outlier<i}

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan dalam peristiwa konversi.

  1. Buka mode Advanced.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan.
  3. Pastikan Penskalaan disetel ke Ya. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan, berdasarkan rentang (nilai rata-rata dan maksimum) yang telah Anda berikan untuk sasaran pengukuran.
  4. Anggaplah pembelian terbesar yang pernah dilakukan adalah $2.000, tetapi sebagian besar pembelian terjadi dalam rentang $10-$120. Pertama, mari kita lihat apa yang terjadi jika kita menggunakan pendekatan penskalaan literal (tidak direkomendasikan): masukkan $2.000 sebagai nilai maks untuk purchaseValue.
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau tinggi. Hal ini karena penskalaan faktor tersebut saat ini dihitung berdasarkan $2.000, padahal kenyataannya nilai pembeliannya akan jauh lebih rendah dari itu.
  7. Sekarang, mari kita gunakan pendekatan penskalaan yang lebih pragmatis. Ubah bid nilai pembelian menjadi $120.
  8. Klik Simulasikan.
  9. Perhatikan bahwa rasio derau lebih rendah (lebih baik) dalam simulasi kedua ini.

Untuk mengimplementasikan penskalaan, Anda biasanya akan menghitung faktor penskalaan berdasarkan nilai maksimum yang memungkinkan untuk peristiwa konversi tertentu (pelajari lebih lanjut dalam contoh ini).

Namun, hindari penggunaan nilai maksimum literal untuk menghitung faktor penskalaan tersebut, karena hal ini akan memperburuk rasio sinyal terhadap derau. Sebagai gantinya, hapus {i>outlier<i} dan gunakan nilai maksimum yang pragmatis.

Manajemen {i>outlier<i} adalah topik yang mendalam. Sejumlah teknik yang rumit dapat digunakan dipertimbangkan untuk meningkatkan rasio sinyal terhadap gangguan. Salah satunya dijelaskan dalam Pengelolaan pencilan lanjutan.

Langkah berikutnya

Setelah Anda menilai berbagai strategi pengelolaan derau untuk kasus penggunaan Anda, Anda siap untuk mulai bereksperimen menggunakan laporan ringkasan dengan mengumpulkan data pengukuran melalui uji coba origin. Tinjau panduan dan tips untuk Mencoba API.

Lampiran

Tur singkat Noise Lab

Noise Lab membantu Anda dengan cepat menilai dan membandingkan strategi manajemen kebisingan. Gunakan untuk:

  • Pahami parameter utama yang dapat memengaruhi derau, dan pengaruh yang mereka miliki.
  • Menyimulasikan efek noise pada data pengukuran output yang diberikan keputusan desain yang berbeda. Menyesuaikan parameter desain hingga Anda mencapai yang sesuai untuk kasus penggunaan Anda.
  • Sampaikan masukan Anda tentang kegunaan laporan ringkasan: yang nilai parameter epsilon dan noise bekerja untuk Anda, mana yang tidak? Di mana titik belok?

Anggap ini sebagai langkah persiapan. Lab Bising menghasilkan data pengukuran untuk menyimulasikan output laporan ringkasan berdasarkan input teks. Lapisan ini tidak mempertahankan atau membagikan data apa pun.

Ada dua mode berbeda di Noise Lab:

  1. Mode sederhana: pahami dasar-dasar kontrol yang Anda miliki pada noise.
  2. Mode lanjutan: uji berbagai strategi manajemen derau dan nilai yang menghasilkan rasio sinyal-terhadap-noise terbaik untuk kasus penggunaan Anda.

Klik tombol di menu atas untuk beralih di antara keduanya (#1. di screenshot di bawah).

Mode sederhana
  • Dengan mode Sederhana, Anda mengontrol Parameter (ada di sebelah kiri samping, atau #2. pada screenshot di bawah) seperti Epsilon, dan lihat dampaknya terhadap noise.
  • Setiap parameter memiliki tooltip (tombol `?`). Klik untuk melihat penjelasan setiap parameter (#3. dalam screenshot di bawah)
  • Untuk memulai, klik "Simulasikan" tombol dan mengamati tampilan {i>output<i} seperti (#4. pada screenshot di bawah)
  • Di bagian Output, Anda dapat melihat berbagai detail. Agak besar elemen memiliki tanda `?` di sampingnya. Luangkan waktu untuk mengklik setiap `?` untuk melihat penjelasan tentang berbagai bagian informasi.
  • Di bagian Output, klik tombol Details jika Anda ingin melihat versi tabel yang diperluas (#5. di screenshot di bawah)
  • Di bawah setiap tabel data di bagian output, terdapat opsi untuk mengunduh tabel untuk penggunaan offline. Selain itu, di bagian bawah di pojok kanan ada opsi untuk mendownload semua tabel data (#6. di screenshot di bawah)
  • Uji berbagai setelan untuk parameter di bagian Parameters dan klik Simulasikan untuk melihat dampaknya terhadap output:
    Derau
    Antarmuka Noise Lab untuk mode Sederhana.
Mode lanjutan
  • Dalam mode Lanjutan, Anda memiliki kontrol lebih atas Parameter. Anda dapat menambahkan Sasaran dan Dimensi Pengukuran khusus (#1. dan #2. di screenshot di bawah)
  • Scroll lebih jauh ke bawah di bagian Parameters dan lihat kolom Kunci Opsi strategi. Ini dapat digunakan untuk menguji berbagai struktur kunci (#3. dalam screenshot di bawah)
    • Untuk menguji berbagai Struktur Utama, ganti Key Strategy ke "B"
    • Masukkan jumlah struktur tombol yang berbeda yang ingin Anda gunakan (default disetel ke "2")
    • Klik "Buat Struktur Utama"
    • Anda akan melihat opsi untuk menentukan struktur kunci dengan mengklik kotak centang di samping tombol yang ingin Anda sertakan untuk setiap struktur tombol
    • Klik Simulasikan untuk melihat outputnya.
      Mode lanjutan menawarkan kontrol untuk sasaran pengukuran dan dimensi yang akan dilacak, ditandai di sidebar.
      Antarmuka Noise Lab untuk mode Advanced.
      Mode lanjutan juga merupakan opsi Strategi utama di bagian Parameter pada sidebar.
      Antarmuka Noise Lab untuk mode Advanced.

Metrik kebisingan

Konsep inti

Derau ditambahkan untuk melindungi privasi pengguna individu.

Nilai derau yang tinggi menunjukkan bahwa bucket/kunci jarang dan berisi kontribusi dari sejumlah peristiwa sensitif tertentu. Hal ini sudah selesai secara otomatis oleh Noise Lab, untuk memungkinkan individu atau dalam Dengan kata lain, melindungi privasi dengan jumlah yang lebih besar derau tambahan.

Nilai derau yang rendah menunjukkan bahwa pengaturan data dirancang sedemikian cara yang memungkinkan seseorang untuk "bersembunyi di kerumunan". Ini berarti bucket berisi kontribusi dari jumlah peristiwa yang memadai untuk memastikan privasi pengguna individu terlindungi.

Pernyataan ini berlaku untuk persentase error rata-rata (APE) dan RMSRE_T (kesalahan relatif akar rata-rata kuadrat dengan ambang batas).

APE (persentase kesalahan rata-rata)

APE adalah rasio derau terhadap sinyal, yaitu nilai ringkasan yang sebenarnya.p> Nilai APE yang lebih rendah berarti rasio sinyal terhadap gangguan yang lebih baik.

Formula

Untuk laporan ringkasan tertentu, APE dihitung sebagai berikut:

Persamaan untuk APE. Nilai absolut wajib diisi, karena derau bisa negatif.

True adalah nilai ringkasan yang sebenarnya. APE adalah rata-rata derau pada setiap nilai ringkasan sebenarnya, dirata-ratakan dari seluruh entri dalam laporan ringkasan. Di Noise Lab, ini kemudian dikalikan dengan 100 untuk mendapatkan persentase.

Kelebihan dan Kekurangan

Bucket dengan ukuran yang lebih kecil memiliki dampak yang tidak proporsional pada nilai akhir APE. Hal itu bisa menyesatkan saat menilai kebisingan. Inilah mengapa kami menambahkan metrik lain, RMSRE_T, yang dirancang untuk mengurangi keterbatasan APE ini. Baca contoh untuk mengetahui detailnya.

Kode

Tinjau kode sumber untuk penghitungan APE.

RMSRE_T (kesalahan relatif akar rata-rata kuadrat dengan ambang batas)

RMSRE_T (kesalahan relatif akar rata-rata kuadrat dengan ambang batas) adalah ukuran lain untuk kebisingan.

Cara menafsirkan RMSRE_T

Nilai RMSRE_T yang lebih rendah berarti rasio sinyal terhadap gangguan yang lebih baik.
Misalnya, jika rasio derau yang dapat diterima untuk kasus penggunaan Anda adalah 20%, dan RMSRE_T 0,2, Anda dapat yakin bahwa level derau berada dalam rentang yang dapat diterima.

Formula

Untuk laporan ringkasan tertentu, RMSRE_T dihitung sebagai berikut:

Formula
Persamaan untuk RMSRE_T. Nilai absolut wajib diisi, karena derau bisa negatif.
Kelebihan dan kekurangan

RMSRE_T sedikit lebih rumit untuk dipahami daripada APE. Namun, ada beberapa keunggulan yang membuatnya dalam beberapa kasus lebih sesuai daripada APE untuk menganalisis derau dalam laporan ringkasan:

  • RMSRE_T lebih stabil. "T" adalah ambang batas. "T" digunakan untuk memberikan bobot yang lebih rendah dalam penghitungan RMSRE_T terhadap bucket yang memiliki lebih sedikit konversi sehingga lebih sensitif terhadap derau karena ukurannya yang kecil. Dengan T, metrik tidak melonjak pada kelompok dengan sedikit konversi. Jika T sama dengan 5, nilai derau sekecil 1 pada bucket dengan 0 konversi tidak akan ditampilkan sebagai lebih dari 1. Sebaliknya, itu akan dibatasi pada 0,2, yang setara dengan 1/5, karena T sama dengan 5. Dengan mengurangi bobot pada bucket yang lebih kecil sehingga lebih sensitif terhadap derau, metrik ini lebih stabil, sehingga lebih mudah untuk membandingkan dua simulasi.
  • RMSRE_T memungkinkan penggabungan yang mudah. Dengan mengetahui RMSRE_T beberapa bucket, bersama dengan jumlah sebenarnya, Anda dapat menghitung RMSRE_T dari jumlah tersebut. Ini juga memungkinkan Anda mengoptimalkan RMSRE_T untuk nilai gabungan ini.

Meskipun agregasi memungkinkan untuk APE, formulanya cukup rumit karena melibatkan nilai absolut dari jumlah derau Laplace. Hal ini membuat APE lebih sulit untuk dioptimalkan.

Kode

Tinjau kode sumber untuk penghitungan RMSRE_T.

Contoh

Laporan ringkasan dengan tiga grup:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Laporan ringkasan dengan tiga grup:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Laporan ringkasan dengan tiga grup:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Infinity) / 3 = Tak terhingga

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Pengelolaan kunci lanjutan

Perusahaan pengukuran iklan atau DSP mungkin memiliki ribuan iklan global pelanggan, yang mencakup berbagai industri, mata uang, dan harga pembelian potensi yang ada. Ini berarti membuat dan mengelola satu kunci agregasi per pengiklan akan sangat tidak praktis. Selain itu, akan sulit untuk memilih nilai agregat maksimum dan anggaran agregasi yang dapat membatasi dampak derau di ribuan pengiklan global ini. Sebagai gantinya, mari kita perhatikan skenario berikut:

Strategi Utama A

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola satu kunci di semua pelanggan iklan. Di semua pengiklan dan semua mata uang, berbagai pembelian bervariasi mulai dari pembelian bervolume rendah, pembelian kelas atas hingga volume tinggi, pembelian kelas bawah pembelian. Ini menghasilkan kunci berikut:

Kunci (beberapa mata uang)
Nilai agregat maksimum 5.000.000
Rentang nilai pembelian [120 - 5000000]
Strategi Utama B

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola dua kunci di semua pelanggan iklan. Mereka memutuskan untuk memisahkan kunci berdasarkan mata uang. Di semua pengiklan dan semua mata uang, rentang pembelian bervariasi dari volume rendah, pembelian kelas atas hingga pembelian kelas bawah dengan volume tinggi. Dengan memisahkan berdasarkan mata uang, mereka membuat 2 kunci:

Kunci 1 (USD) Tombol 2 (¥)
Nilai agregat maksimum $40.000 ¥5.000.000
Rentang nilai pembelian [120 - 40.000] [15.000 - 5.000.000]

Strategi Utama B akan memiliki lebih sedikit derau dalam hasilnya dibandingkan Strategi Utama A, karena nilai mata uang tidak didistribusikan secara seragam di seluruh mata uang. Misalnya, pertimbangkan bagaimana pembelian yang dinyatakan dalam ¥ digabungkan dengan pembelian dalam mata uang ¥ USD akan mengubah data pokok dan output noise yang dihasilkan.

Strategi Utama C

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola empat kunci di semua pelanggan iklan, dan untuk memisahkan mereka menurut Mata Uang x Pengiklan industri:

Tombol 1
(USD x Pengiklan perhiasan kelas atas)
Tombol 2
(¥ x Pengiklan perhiasan kelas atas)
Tombol 3
(Pengiklan retailer pakaian) USD x
Tombol 4
(¥ x Pengiklan retailer pakaian)
Nilai agregat maksimum $40.000 ¥5.000.000 Rp7.000.000 ¥65.000
Rentang nilai pembelian [10.000 - 40.000] [1.250.000 - 5.000.000] [120 - 500] [15.000 - 65.000]

Strategi Utama C akan memiliki lebih sedikit {i>noise <i} dalam hasilnya dibandingkan Strategi Utama B, karena nilai pembelian pengiklan tidak didistribusikan secara seragam di seluruh pengiklan. Sebagai misalnya, pertimbangkan bagaimana pembelian perhiasan kelas atas digabungkan dengan pembelian untuk topi bisbol akan mengubah data yang mendasarinya dan menghasilkan noise.

Pertimbangkan untuk membuat nilai agregasi maksimum bersama dan faktor penskalaan bersama kesamaan di beberapa pengiklan untuk mengurangi derau dalam {i>output<i} tersebut. Misalnya, Anda dapat bereksperimen dengan berbagai strategi di bawah ini untuk pengiklan Anda:

  • Satu strategi yang dipisahkan berdasarkan mata uang (USD, ¥, CAD, dll.)
  • Satu strategi yang dipisahkan oleh industri pengiklan (Asuransi, Otomotif, Retail, dll.)
  • Satu strategi yang dipisahkan oleh rentang nilai pembelian yang serupa ([100], [1000], [10000], dst.)

Dengan membuat strategi utama seputar kesamaan pengiklan, kunci, dan kode yang sesuai lebih mudah dikelola, dan rasio sinyal-ke-noise menjadi lebih tinggi. Bereksperimen dengan strategi berbeda dengan pengiklan yang berbeda kesamaan untuk mengungkap titik belok dalam memaksimalkan dampak derau vs kode otomatisasi pengelolaan biaya.


Pengelolaan outlier lanjutan

Mari kita perhatikan sebuah skenario pada dua pengiklan:

  • Pengiklan A:
    • Untuk semua produk di situs Pengiklan A, harga pembelian kemungkinannya antara [$120 - $1.000] , dengan kisaran $880.
    • Harga pembelian didistribusikan secara merata di seluruh rentang $880 tanpa pencilan di luar dua deviasi standar dari median harga pembelian.
  • Pengiklan B:
    • Untuk semua produk di situs Pengiklan B, harga pembelian kemungkinannya antara [$120 - $1.000] , dengan kisaran $880.
    • Harga pembelian sangat condong ke kisaran $120 - $500, dengan hanya 5% pembelian yang terjadi dalam kisaran $500 - $1.000.

Mengingat persyaratan anggaran kontribusi dan metodologi yang menerapkan derau ke hasil akhir, Pengiklan B secara default akan memiliki output yang lebih berisik daripada Pengiklan A, karena Pengiklan B memiliki potensi pencilan yang lebih tinggi untuk memengaruhi kalkulasi yang mendasarinya.

Anda dapat memitigasi ini dengan pengaturan kunci tertentu. Menguji strategi utama yang membantu mengelola data pencilan, dan untuk mendistribusikan nilai pembelian secara lebih merata di sepanjang rentang pembelian kunci.

Untuk Pengiklan B, Anda dapat membuat dua kunci terpisah untuk menangkap dua kunci rentang nilai pembelian. Dalam contoh ini, teknologi iklan telah mencatat bahwa pencilan muncul di atas nilai pembelian $500. Coba terapkan dua kunci terpisah untuk pengiklan ini:

  • Struktur Kunci 1 : Kunci yang hanya mencatat pembelian di antara kisaran $120 - $500 (mencakup ~95% dari total volume pembelian).
  • Struktur Kunci 2: Kunci yang hanya mencatat pembelian di atas $500 (mencakup ~5% dari total volume pembelian).

Menerapkan strategi utama ini seharusnya dapat mengelola derau untuk Pengiklan B dan membantu memaksimalkan utilitas bagi mereka dari laporan ringkasan. Mengingat model baru yang lebih kecil rentang, Kunci A dan Kunci B sekarang seharusnya memiliki distribusi data yang lebih seragam di setiap kunci terkait untuk kunci tunggal sebelumnya. Hal ini akan mengakibatkan dampak derau di setiap output setiap kunci dibandingkan dengan kunci tunggal sebelumnya.