Framework pengujian beban Layanan Agregasi

Kami menantikan masukan Anda tentang dokumen ini saat kami bersiap untuk menambahkannya ke repositori panduan publik kami.

Sebaiknya teknologi iklan menjalankan pengujian beban pada 100% traffic produksi:

  1. Teknologi iklan harus mengakses pengukuran Atribusi Konversi menggunakan Attribution Reporting API sebagai kasus penggunaan pelaporannya.
  2. Teknologi iklan harus membuat keputusan desain sambil meminimalkan derau (referensi: keputusan desain sesuai model)
  3. Saat melakukan pengujian, teknologi iklan harus melacak jumlah tugas yang mereka jalankan per hari (mis. tugas per pengiklan), perkiraan distribusi volume peristiwa konversi, dan jumlah kunci agregat sebagai input per tugas pemrosesan (lihat parameter tugas output_domain_blob_prefix di dokumentasi Aggregation Service API), dan estimasi peristiwa konversi rata-rata per laporan input.
  4. Untuk pengujian, teknologi iklan harus mencari jenis instance yang direkomendasikan dari tabel panduan ukuran berdasarkan ukuran tugas yang diharapkan (yaitu volume laporan, ukuran domain) dan menyesuaikan ukuran layanan agregasi yang di-deploy dengan sesuai. Referensi: Panduan pengukuran untuk Aggregated Service di AWS
  5. Teknologi iklan harus menjalankan tugas agregasi untuk pengujian beban.

Tujuan

Panduan ini khusus untuk pengukuran atribusi konversi gabungan dan akan menyertakan petunjuk penyiapan dan konfigurasi utama yang dimaksudkan untuk digunakan oleh teknologi iklan untuk:

  • Perkirakan ekspektasi pemuatan untuk pengukuran atribusi konversi gabungan.
  • Mengoptimalkan penyiapan dan konfigurasi utamanya untuk performa dan derau berdasarkan dimensi dan sasaran yang ingin diukur, serta ukuran dan segmentasi pengiklan mereka.

Prasyarat

Panduan ini ditujukan untuk audiens teknologi iklan. Sebelum melakukan langkah-langkah berikut, sebaiknya tinjau dokumentasi kami tentang menangani derau, ringkasan keputusan desain laporan, dan bereksperimen dengan lab derau untuk konfigurasi yang optimal.

Langkah

1. Strategi penyiapan kunci agregasi awal

Tentukan jumlah struktur kunci yang berbeda (yaitu kumpulan dimensi) yang Anda perlukan berdasarkan jenis dan tujuan bisnis Anda. Perhatikan bahwa mengoptimalkan struktur kunci dapat membantu mengurangi derau dalam laporan.

Jumlah pengiklan yang Anda miliki
Misalnya, Anda memiliki 1.000 pengiklan.

Kesamaan antara pengiklan
Kesamaan harus dinilai berdasarkan volume konversi, nilai konversi relatif, dan cakupan umum karakteristik pengiklan. Semakin mirip Anda dapat mengelompokkannya, semakin mendetail hasil Anda (karena lebih sedikit varians dalam nilai output), dan oleh karena itu, semakin kecil dampak derau. Lihat pengelolaan kunci lanjutan untuk mengetahui detail selengkapnya. Misalnya, teknologi iklan dapat menyegmentasikan pengiklannya berdasarkan industri, pembelanjaan, dan volume konversi sebagai berikut:

  • Industri (misalnya: Asuransi, Perhiasan, Retail Pertumbuhan)
  • Pembelanjaan (misalnya: <$50.000/kuartal, $50-$150.000/kuartal, $150.000-$250.000/kuartal)
  • Volume konversi (Rendah, Sedang, Tinggi)

Jumlah struktur kunci gabungan yang akan dibuat
Misalnya, 27 (3x3x3) : 3 industri, 3 jenis pembelanjaan, dan 3 pengelompokan untuk nilai konversi.

2. Mengidentifikasi dimensi kunci agregasi

Selanjutnya, identifikasi dimensi penting yang ingin Anda lacak untuk tayangan dan konversi guna memperkirakan jumlah kunci samping sumber dan pemicu.

Untuk setiap struktur kunci agregasi, dimensi penting yang harus Anda lacak untuk tayangan akan membantu Anda menentukan jumlah kunci sisi sumber. Dimensi akan bergantung pada jenis pengiklan dari no. 1 di atas (yaitu, industri, pembelanjaan, konversi). Contoh berikut membantu menjelaskan dimensi:

  • Struktur Utama 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

    • J: 4 dimensi: Kampanye (mis.: 50 kemungkinan), Grup iklan (mis.: 20 kemungkinan), Jenis perangkat (mis.: 5 kemungkinan), Geografis (mis.: 50 kemungkinan)
      1. Kemungkinan kombinasi dimensi = 50 x 20 x 5 x 50 = 250.000. Ini mewakili jumlah kemungkinan kombinasi dimensi untuk kunci sisi sumber untuk struktur kunci 1.
      2. Perlu mencadangkan 18 bit (18 bit = 262.144 kemungkinan kombinasi)

  • Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

    • J: 4 dimensi: Kampanye (mis.: 30 kemungkinan), Grup iklan (mis.: 80 kemungkinan), Jenis iklan (mis.: 3 kemungkinan), Geografis (mis.: 50 kemungkinan).
      1. Kemungkinan kombinasi dimensi = 30 x 80 x 3 x 50 = 360.000. Ini mewakili jumlah kemungkinan kombinasi dimensi atau kunci sisi sumber untuk struktur kunci 2.
      2. Perlu mencadangkan 19 bit (19 bit) = 524.288 kemungkinan kombinasi)

  • Struktur Kunci 3: Ulangi (rencana yang sama untuk semua Struktur Kunci yang Anda miliki)

Untuk setiap struktur kunci agregasi, dimensi penting yang perlu Anda lacak untuk konversi akan membantu Anda menentukan kunci sisi pemicu. Contoh:

  • Struktur Utama 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

    • A: 2 dimensi: Kategori produk (mis.: 100 kemungkinan), Jenis konversi (mis.: 5 kemungkinan)
      1. Kemungkinan kombinasi dimensi = 100 x 5 = 500
      2. Perlu mencadangkan 9 bit (9 bit = 512 kemungkinan kombinasi)

  • Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

    • A: 3 dimensi: Kategori produk (mis.: 50 kemungkinan), Tipe produk (10 kemungkinan), Jenis konversi (3 kemungkinan)
      1. Kemungkinan kombinasi dimensi = 50 x 10 x 3 = 1.500
      2. Perlu mencadangkan 11 bit (11 bit = 2.048 kemungkinan kombinasi)

  • Struktur Kunci 3: Ulangi (rencanakan serupa untuk semua Struktur Kunci yang Anda miliki)

Estimasi untuk Kunci Gabungan

  • Struktur Kunci 1: 250.000 kunci tayangan x 500 kunci konversi = 125.000.000 kunci
  • Struktur Kunci 2: 360.000 kunci tayangan x 1,5 ribu kunci konversi = 540.000.000 kunci
  • Struktur Kunci 3: (rencana serupa untuk semua Struktur Kunci yang Anda miliki)
  • Ulangi untuk setiap Struktur Kunci
  • Max Aggregate Keys = 540.000.000 kunci (di semua struktur kunci). Perlu mencadangkan 30 bit (30 bit = 1,07 miliar kemungkinan kombinasi)

Volume konversi yang diperkirakan

Untuk setiap struktur kunci agregasi, volume yang diperkirakan dapat dijelaskan menggunakan contoh berikut:

  • Struktur Kunci 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)
    • J: Antisipasi bahwa Struktur Kunci 1 akan menghasilkan pembelanjaan pengiklan senilai sekitar $500.000 selama kuartal berikutnya dengan rata-rata harga CPM $8. Antisipasi bahwa hal ini akan menghasilkan 62.500.000 tayangan yang perlu didaftarkan.
    • Antisipasi bahwa tayangan rata-rata terhadap rasio konversi yang akan dihasilkan oleh Struktur Utama 1 selama kuartal berikutnya adalah 0,08%, yang menghasilkan 50.000 konversi yang diatribusikan yang perlu ditangkap. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
  • Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)
    • J: Antisipasi bahwa Kunci 2 akan menghabiskan pembelanjaan sekitar $800.000 selama kuartal berikutnya dengan rata-rata harga CPM $10. Antisipasi bahwa hal ini akan menghasilkan 80.000.000 tayangan yang perlu didaftarkan.
    • Antisipasi bahwa tayangan rata-rata terhadap rasio konversi yang akan dihasilkan oleh Kunci 2 selama kuartal berikutnya adalah 0,03125%, yang menghasilkan 25.000 konversi yang diatribusikan yang perlu ditangkap. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
  • Ulangi untuk setiap Struktur Kunci

Melaporkan frekuensi penayangan dan pengelompokan (batch per pengiklan)**

Untuk setiap struktur kunci agregasi, Anda memerlukan laporan konversi yang dikirim secara berulang. Sebaiknya teknologi iklan mengelompokkan berdasarkan pengiklan (untuk pemisahan data yang lebih bersih per laporan dan agregasi yang lebih efisien) dan gunakan kolom shared_info.scheduled_report_time laporan untuk pengelompokan.

  • A: Per jam
  • B: Harian
  • C: Mingguan

Catatan

  • Untuk pengelompokan berdasarkan pengiklan, verifikasi SLA dengan pengiklan.

  • Pengelompokan yang lebih sering akan menyertakan derau yang lebih tinggi per batch. (Lihat: Keputusan: Frekuensi batch).

  • Untuk menghindari error karena pengelompokan yang salah, pastikan batch menggunakan kolom scheduled_report_time, bukan report arrival time. Misalnya: jika Anda melakukan batch setiap jam, batch untuk pukul 11.00 hanya boleh menyertakan laporan dengan scheduled_report_time antara pukul 10.00 hingga 11.00, dan bukan laporan yang diterima antara pukul 10.00 hingga 11.00 dengan scheduled_report_time yang berbeda (misalnya: 09.00).

Estimasi untuk Volume Laporan

  • Struktur Kunci 1: 50.000 konversi yang diatribusikan / 2160 (pelaporan per jam, jam dalam kuartal) = 24 laporan ringkasan per jam per pengiklan (24 x 1000 pengiklan = 24 ribu laporan ringkasan)
  • Struktur Kunci 2: 25.000 konversi yang diatribusikan / 2160 (pelaporan per jam, jam dalam kuartal) = 12 laporan ringkasan per jam per pengiklan (12 x 1000 pengiklan = 12 ribu laporan ringkasan)
  • Struktur Kunci 3: Ulangi
  • Jumlah total laporan ringkasan per jam = 24 laporan ringkasan untuk struktur kunci 1 + 12 laporan ringkasan untuk struktur kunci 2 + ... = ... per jam per pengiklan

Ringkasan masukan

Memahami estimasi dari teknologi iklan berikut dapat membantu kami merencanakan fitur dan peningkatan untuk mendukung skala yang diperlukan oleh teknologi iklan. Sebaiknya bagikan informasi berikut kepada kami. Lihat panduan ukuran untuk Layanan Agregasi di AWS untuk informasi selengkapnya:

  • Kunci domain input maks (kunci yang akan digabungkan) per tugas layanan agregasi
  • Volume laporan input maksimum per tugas (konversi atribusi)
  • Estimasi kontribusi per laporan (key-value pair di laporan)
  • Estimasi distribusi konversi yang diatribusikan per tugas
  • Estimasi distribusi kunci domain dalam suatu tugas
  • Perkiraan jumlah pekerjaan per jam/hari/minggu