راهنمای تست اندازه گیری

هدف این راهنما ارائه راهنمایی در مورد اجرای تست مستقل Privacy Sandbox Attribution Reporting API است. برای جزئیات بیشتر، به بخش 12 مراجعه کنید.

  • اندازه‌گیری نتایج بازوی کنترل و درمان در طرح‌های آزمایشی 1 و 2 CMA در راهنمای آزمایش APIهای مرتبط پوشش داده شده است، زیرا هدف این آزمایش‌ها آزمایش اثربخشی استفاده از مخاطبان و موضوعات محافظت‌شده است. برای جزئیات بیشتر، بخش 11 را ببینید.

قبل از اینکه شروع کنی

اهداف ارزیابی و تنظیم آزمایش پیشنهادی

هدف 1 - تعیین اثر بخشی API گزارش دهی برای گزارش

ما یک راه‌اندازی A/A برای اندازه‌گیری تأثیر گزارش‌دهی پیشنهاد می‌کنیم

  • این پیشنهاد با راهنمای CMA در ارزیابی معیارهای مبتنی بر تبدیل مطابقت دارد. برای جزئیات بیشتر، بخش 21 و بخش 12 را ببینید.
  • ما این روش را به حالت A/B ترجیح می‌دهیم زیرا آزمایش API گزارش انتساب (ARA) را می‌توان با اندازه‌گیری همزمان تبدیل‌ها در مجموعه نمایش‌های مشابه با استفاده از دو روش اندازه‌گیری مختلف (کوکی‌های شخص ثالث + داده‌های کوکی غیر شخص ثالث و ARA + داده های کوکی غیر شخص ثالث).
  • یک آزمایش A/A همچنین تأثیر API گزارش Attribution را بر اندازه‌گیری تبدیل جدا می‌کند (برای مثال، از هرگونه تغییر در نرخ تبدیل به دلیل عدم وجود کوکی‌های شخص ثالث جلوگیری می‌کند).

نکات پیشنهادی برای تحلیل

  • بخشی از ترافیک را انتخاب کنید که به اندازه کافی بزرگ باشد تا نتایج آماری قابل توجهی دریافت کنید و هم کوکی‌های شخص ثالث و هم APIهای Privacy Sandbox را داشته باشد. در حالت ایده آل، این همه ترافیک است، به جز حالت B (که کوکی های شخص ثالث را غیرفعال می کند).
    • توصیه می‌کنیم حالت B را از آزمایش A/A حذف کنید، زیرا کوکی‌های شخص ثالث در دسترس نخواهند بود و نمی‌توانید نتایج ARA را با نتایج ارجاع مبتنی بر کوکی شخص ثالث مقایسه کنید.
    • اگر می‌خواهید حالت B را در نظر بگیرید، باید گزارش‌های اشکال‌زدایی را برای بخش ترافیک حالت B فعال کنید . گزارش‌های اشکال‌زدایی به شما کمک می‌کنند تا هرگونه مشکل پیکربندی یا پیاده‌سازی را عیب‌یابی کنید.
  • اگر قصد دارید روی یک بخش کوچکتر از ترافیک تست کنید، انتظار داریم نتایج اندازه گیری پر سر و صداتر از حد انتظار دریافت کنید. توصیه می‌کنیم در تجزیه و تحلیل خود توجه داشته باشید که چه بخشی از ترافیک استفاده شده است و آیا نتایج را بر اساس گزارش‌های نویز گزارش می‌کنید یا گزارش‌های اشکال زدایی بدون نویز.
    • برای گزارش‌های خلاصه، مقادیر خلاصه شما احتمالاً پایین‌تر خواهد بود و سرویس تجمیع بدون توجه به مقدار خلاصه، نویز از همان توزیع را اضافه می‌کند.
  • روش‌های اندازه‌گیری مختلف را روی آن برش از ترافیک آزمایش کنید
    • کنترل 1 - استفاده از روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی‌های شخص ثالث)
    • (اختیاری) کنترل 2 - بدون Sandbox حریم خصوصی و بدون کوکی های شخص ثالث، یعنی فقط داده های کوکی غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
    • درمان - APIهای Sandbox Privacy و داده‌های کوکی‌های غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارهای

  • تعیین کنید که کدام معیارها برای اندازه‌گیری نتایج برای کسب‌وکار شما منطقی است و شرحی از معنای این معیار و نحوه اندازه‌گیری آن را نیز شامل کنید.
    • پیشنهاد می کنیم بر ابعاد و معیارهایی تمرکز کنید که برای تبلیغ کنندگان شما مهم هستند. برای مثال، اگر تبلیغ‌کنندگان شما بر تبدیل‌های خرید تمرکز می‌کنند، تعداد تبدیل‌ها و ارزش خرید را اندازه‌گیری کنید.
  • معیارهای مبتنی بر تعداد یا مجموع (مثلاً نرخ تبدیل) برای کار با آنها ایده‌آل‌تر هستند، به‌عنوان مثال، هزینه به ازای هر تبدیل. برای تجزیه و تحلیل A/A، معیارهای هزینه را می توان به طور کامل از مقادیر تبدیل شمارش یا مجموع استخراج کرد.
  • مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است) باشد.
  • برای راهنمایی در مورد نحوه قالب بندی بازخورد کمی، جداول الگوی پیشنهادی را ببینید.

تحلیل و بررسی

  • پوشش:
    • آیا می توانید در مقایسه با کوکی های شخص ثالث، مجموعه مشابهی از کاربران را اندازه گیری کنید؟ آیا پوشش بالاتری می بینید (مثلاً با برنامه به وب)؟
    • آیا می‌توانید تبدیل‌ها (و ابعاد یا معیارها) را که بیشتر به آن اهمیت می‌دهید یا تبلیغ‌کنندگانتان اندازه‌گیری کنید؟
  • بازخورد کمی
    • برای مثال، در مورد گزارش‌دهی آگهی‌دهنده، چند درصد از تبدیل‌های کلیدی را می‌توانید برای آن تبلیغ‌کننده گزارش کنید، یا چند درصد از کمپین‌ها با نوار کیفیت گزارش‌دهی مطابقت دارند (به دست آوردن یک نوار کیفیت به تنظیم کمپین‌هایی با تعداد تبدیل‌های کوچک کمک می‌کند)
    • به عنوان مثال، بر اساس آگهی‌دهنده، آیا برخی از تبلیغ‌کنندگان وجود دارند که برای گزارش‌دهی کم و بیش به کوکی‌های شخص ثالث وابسته هستند؟
  • بازخورد کیفی دیگر:
    • چگونه ARA بر پیچیدگی تنظیم اندازه‌گیری/اسناد تبلیغ‌کنندگان تأثیر می‌گذارد؟
    • آیا ARA به تبلیغ‌کنندگان در تمرکز بر معیارها و اهدافی که برایشان مهم است کمک می‌کند یا مانع می‌شود؟

جداول الگوی پیشنهادی برای گزارش تاثیر

(گزارش) جدول 1:

جدول الگوی مثال برای گزارش نتایج آزمایشی به CMA (برگرفته از صفحه 18 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی معنادارتر/امکان‌پذیر هستند و جدول را در صورت لزوم تطبیق دهند) .

درمان در مقابل کنترل 1
حالت نهایی پیشنهادی را با وضعیت فعلی مقایسه می کند		 درمان در مقابل کنترل 2
حالت نهایی پیشنهادی را با هیچ API PS مقایسه می کند.		 کنترل 2 در مقابل کنترل 1
اندازه گیری تبدیل را با و بدون کوکی های شخص ثالث، بدون هیچ گونه API PS مقایسه می کند.
روش اندازه گیری مقایسه اندازه‌گیری تبدیل برای درمان (ARA با داده‌های کوکی غیر شخص ثالث) با کنترل 1 (کوکی شخص ثالث و داده‌های کوکی شخص ثالث) مقایسه اندازه‌گیری تبدیل برای درمان (ARA با داده‌های کوکی غیر شخص ثالث) با Control 2 (فقط داده‌های کوکی غیر شخص ثالث) مقایسه اندازه‌گیری تبدیل‌ها برای Control 2 (فقط داده‌های کوکی غیر شخص ثالث) با کنترل 1 (کوکی شخص ثالث و داده‌های کوکی شخص ثالث)
تبدیل به دلار اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
کل تبدیل ها اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
نرخ تبدیل اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
(متریک های خود را اضافه کنید)
(گزارش) جدول 2:

جدول الگوی مثال برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر/امکان‌پذیرتر هستند و جدول را در صورت لزوم تطبیق دهند) .

متریک رفتار
اندازه گیری تبدیل با استفاده از ARA و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 1
اندازه گیری تبدیل با استفاده از کوکی های شخص ثالث و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 2
اندازه‌گیری تبدیل فقط با استفاده از داده‌های کوکی غیر شخص ثالث
تبدیل به دلار منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
کل تبدیل منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
نرخ تبدیل منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
(متریک های خود را اضافه کنید)

هدف 2 - تعیین کارایی API گزارش انتساب برای بهینه سازی مناقصه

ما یک راه‌اندازی A/B برای اندازه‌گیری تأثیر بر بهینه‌سازی مناقصه پیشنهاد می‌کنیم.

  • برای اندازه‌گیری تأثیر بر بهینه‌سازی مناقصه، باید دو مدل مختلف یادگیری ماشینی را آموزش دهید و از آنها در دو بخش ترافیک استفاده کنید - یک مدل آموزش‌دیده بر روی روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی غیر شخص ثالث) برای بازوی کنترل اعمال شد، و یک مدل آموزش‌دیده بر روی API گزارش اسناد + داده‌های کوکی غیر شخص ثالث که باید در بازوی درمان اعمال شود.
  • آموزش مدل باید بر اساس ترافیکی باشد که آزمایش‌کننده برای به حداکثر رساندن عملکرد ضروری بداند، حتی اگر بازوی درمان بخش کوچک‌تری از ترافیک باشد و بین جمعیت‌های آموزشی همپوشانی وجود داشته باشد (برای مثال، از مدل کوکی شخص ثالث موجود استفاده کنید. که آموزش در تمام ترافیک است، و مدل ARA را در تمام ترافیک ARA که برای هدف 1 فعال شده است آموزش دهید).
    • در صورت ارسال نتایج به CMA، توجه داشته باشید که آیا تفاوت قابل‌توجهی بین بخش‌های ترافیکی که برای آموزش مدل‌های مختلف استفاده می‌شود وجود دارد (به عنوان مثال، اگر مدل‌های مبتنی بر کوکی‌های شخص ثالث در 100٪ ترافیک آموزش داده می‌شوند، اما مدل‌های مبتنی بر ARA فقط در مورد آموزش دیده می‌شوند. 1 درصد ترافیک).
  • در صورت امکان، آموزش برای هر دو مدل مناقصه درمان و کنترل باید برای مدت زمان یکسانی انجام شود.
  • در نظر بگیرید که آیا باید به طور مداوم مدل‌های پیشنهادی را در طول آزمایش آموزش دهید و به روز کنید، و اگر انجام می‌دهید، آیا باید در ترافیک تا حد ممکن تمرین کنید یا فقط در ترافیک بازوهای درمان و کنترل.
  • مدل‌های مختلف باید در برش‌های مجزا از ترافیک به عنوان آزمایش A/B استفاده شوند. برای تصادفی‌سازی و تخصیص کاربر در گروه‌های درمان و کنترل، توصیه می‌کنیم از گروه‌های مرورگر برچسب‌دار با تسهیل Chrome ( حالت A ) استفاده کنید یا آزمایش خود را با مجموعه‌های تصادفی مرورگرها اجرا کنید. ما استفاده از حالت B را توصیه نمی‌کنیم زیرا فقدان کوکی‌های شخص ثالث گزارش معیارهای مبتنی بر تبدیل را دشوار می‌کند.
    • گروه‌های مرورگر تسهیل‌شده توسط Chrome برخی از نمونه‌های Chrome مانند کاربران Enterprise Chrome را حذف می‌کنند، جایی که مجموعه‌های تصادفی مرورگرهای شما ممکن است این نمونه‌های Chrome را حذف نکنند. بنابراین، باید آزمایش خود را فقط روی گروه‌های حالت A یا فقط روی گروه‌های غیر حالت A/Mode B اجرا کنید تا از مقایسه معیارهای به‌دست‌آمده در گروه‌های تسهیل‌شده با Chrome با معیارهای به‌دست‌آمده خارج از گروه‌های تسهیل‌شده با Chrome اجتناب کنید.
    • اگر از گروه‌های مرورگر برچسب‌گذاری‌شده توسط Chrome استفاده نمی‌کنید (برای مثال، اجرای آزمایش روی ترافیک دیگر):
      • اطمینان حاصل کنید که تقسیم درمان و کنترل کاربران تصادفی و بی طرفانه است. صرف نظر از تشکیل گروه آزمایش، ویژگی های بازوهای درمان و کنترل را ارزیابی کنید تا مطمئن شوید که گروه های درمان و کنترل قابل مقایسه هستند. (نگاه کنید به: بخش 15 )
      • اطمینان حاصل کنید که ویژگی‌های کاربر و پیکربندی‌های کمپین گروه‌های درمان و کنترل یکسان است (به عنوان مثال، از موقعیت مکانی مشابه در هر دو گروه درمان و کنترل استفاده کنید). (نگاه کنید به: بخش 28 )
        • مثال‌های خاص عبارتند از: اطمینان حاصل کنید که انواع تبدیل مشابه با استفاده از پنجره اسناد و منطق اسناد یکسان اندازه‌گیری می‌شوند، کمپین‌ها مخاطبان، گروه‌های علاقه‌مند، و مکان‌های جغرافیایی مشابه را هدف قرار می‌دهند و از قالب‌های تبلیغاتی و کپی تبلیغات مشابه استفاده می‌کنند.
      • اطمینان حاصل کنید که اندازه‌های اولیه جمعیت برای گروه‌های درمان و کنترل به اندازه کافی بزرگ است تا برای مناقصه و آزمایش انعطاف‌پذیر باشد.
    • در صورت استفاده از گروه‌های مرورگر برچسب‌گذاری‌شده توسط Chrome ( حالت A )، تصادفی‌سازی نمونه‌های مرورگر Chrome به گروه‌ها توسط Chrome انجام می‌شود. توصیه می‌شود مانند قبل بررسی کنید که تصادفی‌سازی به گروه‌های بی‌طرف / قابل مقایسه برای اهداف شما منجر شود.

نکات پیشنهادی برای تحلیل

  • توصیه می‌کنیم بازوهای کنترل و درمان را تعریف کنید و از یک مدل یادگیری ماشینی متفاوت برای بهینه‌سازی مناقصه برای هر بازو استفاده کنید:
    • کنترل 1 - استفاده از مدل بهینه‌سازی مناقصه آموزش‌دیده بر روی روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی‌های شخص ثالث)
    • (اختیاری) کنترل 2 - از مدل بهینه‌سازی مناقصه استفاده کنید که بر روی جعبه ایمنی حریم خصوصی و بدون کوکی‌های شخص ثالث آموزش دیده است، یعنی فقط داده‌های کوکی غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
    • درمان - استفاده از مدل بهینه‌سازی مناقصه آموزش‌دیده در Attribution Reporting API و داده‌های کوکی‌های غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارهای

  • تعیین کنید که کدام معیارها برای اندازه‌گیری نتایج برای کسب‌وکار شما منطقی است و شرحی از معنای این معیار و نحوه اندازه‌گیری آن را نیز شامل کنید.
    • به عنوان مثال، معیار معنی‌دار می‌تواند خرج کردن (درآمد ناشر) باشد که با راهنمایی‌های CMA برای درک تأثیر انحلال کوکی شخص ثالث بر «درآمد به ازای هر نمایش» مطابقت دارد. برای جزئیات بیشتر به بخش 19 مراجعه کنید.
  • اگر از هر معیار مبتنی بر تبدیل گزارش می دهید، باید از روش اندازه گیری یکسانی برای هر بازو استفاده کنید تا از آزمایش چند متغیره (آزمایش تأثیر بر بهینه سازی و گزارش در یک آزمایش) اجتناب کنید. برای راهنمایی در مورد نحوه قالب بندی بازخورد کمی، جداول الگوی پیشنهادی را ببینید.
  • روش‌های دیگری را برای جمع‌آوری معیارهای تاثیر بهینه‌سازی قیمت پیشنهادی در نظر بگیرید - برای مثال، با استفاده از شبیه‌سازی پیشنهادها. آیا معیارهای شبیه سازی شده ای وجود دارد که برای درک تأثیر کوکی های شخص ثالث و ARA بر مدل های پیشنهادی شما مفید باشد؟
  • مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است) باشد.

تحلیل و بررسی

  • پوشش:
    • آیا می توانید در مقایسه با کوکی های شخص ثالث، مجموعه مشابهی از کاربران را اندازه گیری کنید؟ آیا تغییری در پوشش (مثلاً با برنامه به وب) مشاهده می کنید؟
    • آیا می‌توانید تبدیل‌ها (و ابعاد/معیارها) را که خودتان یا تبلیغ‌کنندگانتان بیشتر به آن اهمیت می‌دهند اندازه‌گیری کنید؟
  • تفاوت بین گروه ها چگونه بر موارد زیر تأثیر می گذارد:
    • به عنوان مثال، گزارش آگهی دهنده. چند درصد از تبدیل‌های کلیدی را می‌توانید گزارش دهید.
    • برای مثال، آموزش و بهینه‌سازی، تأثیر داده‌های تبدیل مختلف را بر عملکرد مدل شبیه‌سازی می‌کند.
  • بازخورد کیفی دیگر:
    • چگونه ARA بر پیچیدگی تنظیم بهینه‌سازی مناقصه تبلیغ‌کنندگان تأثیر می‌گذارد؟
    • آیا ARA به تبلیغ‌کنندگان کمک می‌کند یا مانع از تمرکز آنها بر معیارها و اهدافی می‌شود که برایشان مهم است؟

جداول الگوی پیشنهادی برای تاثیر مناقصه

(مناقصه) جدول 1:

جدول الگوی نمونه ای از نتایج تجربی که فعالان بازار باید به CMA ارسال کنند (برگرفته از صفحه 18 ، اما آزمایش کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر معنادار/ امکان پذیر است و جدول را در صورت نیاز تطبیق دهند) .

درمان در مقابل کنترل 1
حالت نهایی پیشنهادی را با وضعیت فعلی مقایسه می کند		 درمان در مقابل کنترل 2
حالت نهایی پیشنهادی را با هیچ API PS مقایسه می کند.		 کنترل 2 در مقابل کنترل 1
بهینه‌سازی مناقصه را با و بدون کوکی‌های شخص ثالث، بدون هیچ گونه API PS مقایسه می‌کند.
روش اندازه گیری برای جلوگیری از آزمایش چند متغیره، از داده‌های کوکی شخص ثالث و کوکی غیر شخص ثالث برای اندازه‌گیری معیارهای مبتنی بر تبدیل برای هر دو بازو در هر آزمایش استفاده کنید.
درآمد به ازای هر نمایش اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
(متریک های خود را اضافه کنید)
(مناقصه) جدول 2:

جدول الگوی مثال برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر/امکان‌پذیرتر هستند و جدول را در صورت لزوم تطبیق دهند) .

رفتار
بهینه سازی مناقصه با استفاده از ARA و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 1
بهینه سازی مناقصه با استفاده از کوکی های شخص ثالث و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 2
بهینه‌سازی مناقصه فقط با استفاده از داده‌های کوکی غیر شخص ثالث
روش اندازه گیری برای جلوگیری از آزمایش چند متغیره، از کوکی های شخص ثالث و داده های کوکی غیر شخص ثالث برای اندازه گیری معیارهای مبتنی بر تبدیل در همه بازوها استفاده کنید.
درآمد به ازای هر نمایش منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
(متریک های خود را اضافه کنید)

هدف 3 - آزمایش بارگذاری سرویس تجمع

به چارچوب آزمایش بار سرویس تجمعی مراجعه کنید.

،

هدف این راهنما ارائه راهنمایی در مورد اجرای تست مستقل Privacy Sandbox Attribution Reporting API است. برای جزئیات بیشتر، به بخش 12 مراجعه کنید.

  • اندازه‌گیری نتایج بازوی کنترل و درمان در طرح‌های آزمایشی 1 و 2 CMA در راهنمای آزمایش APIهای مرتبط پوشش داده شده است، زیرا هدف این آزمایش‌ها آزمایش اثربخشی استفاده از مخاطبان و موضوعات محافظت‌شده است. برای جزئیات بیشتر، بخش 11 را ببینید.

قبل از اینکه شروع کنی

اهداف ارزیابی و تنظیم آزمایش پیشنهادی

هدف 1 - تعیین اثر بخشی API گزارش دهی برای گزارش

ما یک راه‌اندازی A/A برای اندازه‌گیری تأثیر گزارش‌دهی پیشنهاد می‌کنیم

  • این پیشنهاد با راهنمای CMA در ارزیابی معیارهای مبتنی بر تبدیل مطابقت دارد. برای جزئیات بیشتر، بخش 21 و بخش 12 را ببینید.
  • ما این روش را به حالت A/B ترجیح می‌دهیم زیرا آزمایش API گزارش انتساب (ARA) را می‌توان با اندازه‌گیری همزمان تبدیل‌ها در مجموعه نمایش‌های مشابه با استفاده از دو روش اندازه‌گیری مختلف (کوکی‌های شخص ثالث + داده‌های کوکی غیر شخص ثالث و ARA + داده های کوکی غیر شخص ثالث).
  • یک آزمایش A/A همچنین تأثیر API گزارش Attribution را بر اندازه‌گیری تبدیل جدا می‌کند (برای مثال، از هرگونه تغییر در نرخ تبدیل به دلیل عدم وجود کوکی‌های شخص ثالث جلوگیری می‌کند).

نکات پیشنهادی برای تحلیل

  • بخشی از ترافیک را انتخاب کنید که به اندازه کافی بزرگ باشد تا نتایج آماری قابل توجهی دریافت کنید و هم کوکی‌های شخص ثالث و هم APIهای Privacy Sandbox را داشته باشد. در حالت ایده آل، این همه ترافیک است، به جز حالت B (که کوکی های شخص ثالث را غیرفعال می کند).
    • توصیه می‌کنیم حالت B را از آزمایش A/A حذف کنید، زیرا کوکی‌های شخص ثالث در دسترس نخواهند بود و نمی‌توانید نتایج ARA را با نتایج ارجاع مبتنی بر کوکی شخص ثالث مقایسه کنید.
    • اگر می‌خواهید حالت B را در نظر بگیرید، باید گزارش‌های اشکال‌زدایی را برای بخش ترافیک حالت B فعال کنید . گزارش‌های اشکال‌زدایی به شما کمک می‌کنند تا هرگونه مشکل پیکربندی یا پیاده‌سازی را عیب‌یابی کنید.
  • اگر قصد دارید روی یک بخش کوچکتر از ترافیک تست کنید، انتظار داریم نتایج اندازه گیری پر سر و صداتر از حد انتظار دریافت کنید. توصیه می‌کنیم در تجزیه و تحلیل خود توجه داشته باشید که چه بخشی از ترافیک استفاده شده است و آیا نتایج را بر اساس گزارش‌های نویز گزارش می‌کنید یا گزارش‌های اشکال زدایی بدون نویز.
    • برای گزارش‌های خلاصه، مقادیر خلاصه شما احتمالاً پایین‌تر خواهد بود و سرویس تجمیع بدون توجه به مقدار خلاصه، نویز از همان توزیع را اضافه می‌کند.
  • روش‌های اندازه‌گیری مختلف را روی آن برش از ترافیک آزمایش کنید
    • کنترل 1 - استفاده از روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی‌های شخص ثالث)
    • (اختیاری) کنترل 2 - بدون Sandbox حریم خصوصی و بدون کوکی های شخص ثالث، یعنی فقط داده های کوکی غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
    • درمان - APIهای Sandbox Privacy و داده‌های کوکی‌های غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارهای

  • تعیین کنید که کدام معیارها برای اندازه‌گیری نتایج برای کسب‌وکار شما منطقی است و شرحی از معنای این معیار و نحوه اندازه‌گیری آن را نیز شامل کنید.
    • پیشنهاد می کنیم بر ابعاد و معیارهایی تمرکز کنید که برای تبلیغ کنندگان شما مهم هستند. برای مثال، اگر تبلیغ‌کنندگان شما بر تبدیل‌های خرید تمرکز می‌کنند، تعداد تبدیل‌ها و ارزش خرید را اندازه‌گیری کنید.
  • معیارهای مبتنی بر تعداد یا مجموع (مثلاً نرخ تبدیل) برای کار با آنها ایده‌آل‌تر هستند، به‌عنوان مثال، هزینه به ازای هر تبدیل. برای تجزیه و تحلیل A/A، معیارهای هزینه را می توان به طور کامل از مقادیر تبدیل شمارش یا مجموع استخراج کرد.
  • مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است) باشد.
  • برای راهنمایی در مورد نحوه قالب بندی بازخورد کمی، جداول الگوی پیشنهادی را ببینید.

تحلیل و بررسی

  • پوشش:
    • آیا می توانید در مقایسه با کوکی های شخص ثالث، مجموعه مشابهی از کاربران را اندازه گیری کنید؟ آیا پوشش بالاتری می بینید (مثلاً با برنامه به وب)؟
    • آیا می‌توانید تبدیل‌ها (و ابعاد یا معیارها) را که بیشتر به آن اهمیت می‌دهید یا تبلیغ‌کنندگانتان اندازه‌گیری کنید؟
  • بازخورد کمی
    • برای مثال، در مورد گزارش‌دهی آگهی‌دهنده، چند درصد از تبدیل‌های کلیدی را می‌توانید برای آن تبلیغ‌کننده گزارش کنید، یا چند درصد از کمپین‌ها با نوار کیفیت گزارش‌دهی مطابقت دارند (به دست آوردن یک نوار کیفیت به تنظیم کمپین‌هایی با تعداد تبدیل‌های کوچک کمک می‌کند)
    • به عنوان مثال، بر اساس آگهی‌دهنده، آیا برخی از تبلیغ‌کنندگان وجود دارند که برای گزارش‌دهی کم و بیش به کوکی‌های شخص ثالث وابسته هستند؟
  • بازخورد کیفی دیگر:
    • چگونه ARA بر پیچیدگی تنظیم اندازه‌گیری/اسناد تبلیغ‌کنندگان تأثیر می‌گذارد؟
    • آیا ARA به تبلیغ‌کنندگان در تمرکز بر معیارها و اهدافی که برایشان مهم است کمک می‌کند یا مانع می‌شود؟

جداول الگوی پیشنهادی برای گزارش تاثیر

(گزارش) جدول 1:

جدول الگوی مثال برای گزارش نتایج آزمایشی به CMA (برگرفته از صفحه 18 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی معنادارتر/امکان‌پذیر هستند و جدول را در صورت لزوم تطبیق دهند) .

درمان در مقابل کنترل 1
حالت نهایی پیشنهادی را با وضعیت فعلی مقایسه می کند		 درمان در مقابل کنترل 2
حالت نهایی پیشنهادی را با هیچ API PS مقایسه می کند.		 کنترل 2 در مقابل کنترل 1
اندازه گیری تبدیل را با و بدون کوکی های شخص ثالث، بدون هیچ گونه API PS مقایسه می کند.
روش اندازه گیری مقایسه اندازه‌گیری تبدیل برای درمان (ARA با داده‌های کوکی غیر شخص ثالث) با کنترل 1 (کوکی شخص ثالث و داده‌های کوکی شخص ثالث) مقایسه اندازه‌گیری تبدیل برای درمان (ARA با داده‌های کوکی غیر شخص ثالث) با Control 2 (فقط داده‌های کوکی غیر شخص ثالث) مقایسه اندازه‌گیری تبدیل‌ها برای Control 2 (فقط داده‌های کوکی غیر شخص ثالث) با کنترل 1 (کوکی شخص ثالث و داده‌های کوکی شخص ثالث)
تبدیل به دلار اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
کل تبدیل اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
نرخ تبدیل اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
(متریک های خود را اضافه کنید)
(گزارش) جدول 2:

جدول الگوی مثال برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر/امکان‌پذیرتر هستند و جدول را در صورت لزوم تطبیق دهند) .

متریک رفتار
اندازه گیری تبدیل با استفاده از ARA و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 1
اندازه گیری تبدیل با استفاده از کوکی های شخص ثالث و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 2
اندازه‌گیری تبدیل فقط با استفاده از داده‌های کوکی غیر شخص ثالث
تبدیل به دلار منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
کل تبدیل منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
نرخ تبدیل منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
(متریک های خود را اضافه کنید)

هدف 2 - تعیین کارایی API گزارش انتساب برای بهینه سازی مناقصه

ما یک راه‌اندازی A/B برای اندازه‌گیری تأثیر بر بهینه‌سازی مناقصه پیشنهاد می‌کنیم.

  • برای اندازه‌گیری تأثیر بر بهینه‌سازی مناقصه، باید دو مدل مختلف یادگیری ماشینی را آموزش دهید و از آنها در دو بخش ترافیک استفاده کنید - یک مدل آموزش‌دیده بر روی روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی غیر شخص ثالث) برای بازوی کنترل اعمال شد، و یک مدل آموزش‌دیده بر روی API گزارش اسناد + داده‌های کوکی غیر شخص ثالث که باید در بازوی درمان اعمال شود.
  • آموزش مدل باید بر اساس ترافیکی باشد که آزمایش‌کننده برای به حداکثر رساندن عملکرد ضروری بداند، حتی اگر بازوی درمان بخش کوچک‌تری از ترافیک باشد و بین جمعیت‌های آموزشی همپوشانی وجود داشته باشد (برای مثال، از مدل کوکی شخص ثالث موجود استفاده کنید. که آموزش در تمام ترافیک است، و مدل ARA را در تمام ترافیک ARA که برای هدف 1 فعال شده است آموزش دهید).
    • در صورت ارسال نتایج به CMA، توجه داشته باشید که آیا تفاوت قابل‌توجهی بین بخش‌های ترافیکی که برای آموزش مدل‌های مختلف استفاده می‌شود وجود دارد (به عنوان مثال، اگر مدل‌های مبتنی بر کوکی‌های شخص ثالث در 100٪ ترافیک آموزش داده می‌شوند، اما مدل‌های مبتنی بر ARA فقط در مورد آموزش دیده می‌شوند. 1 درصد ترافیک).
  • در صورت امکان، آموزش برای هر دو مدل مناقصه درمان و کنترل باید برای مدت زمان یکسانی انجام شود.
  • در نظر بگیرید که آیا باید به طور مداوم مدل‌های پیشنهادی را در طول آزمایش آموزش دهید و به روز کنید، و اگر انجام می‌دهید، آیا باید در ترافیک تا حد ممکن تمرین کنید یا فقط در ترافیک بازوهای درمان و کنترل.
  • مدل‌های مختلف باید در برش‌های مجزا از ترافیک به عنوان آزمایش A/B استفاده شوند. برای تصادفی‌سازی و تخصیص کاربر در گروه‌های درمان و کنترل، توصیه می‌کنیم از گروه‌های مرورگر برچسب‌دار با تسهیل Chrome ( حالت A ) استفاده کنید یا آزمایش خود را با مجموعه‌های تصادفی مرورگرها اجرا کنید. ما استفاده از حالت B را توصیه نمی‌کنیم زیرا فقدان کوکی‌های شخص ثالث گزارش معیارهای مبتنی بر تبدیل را دشوار می‌کند.
    • گروه‌های مرورگر تسهیل‌شده توسط Chrome برخی از نمونه‌های Chrome مانند کاربران Enterprise Chrome را حذف می‌کنند، جایی که مجموعه‌های تصادفی مرورگرهای شما ممکن است این نمونه‌های Chrome را حذف نکنند. بنابراین، باید آزمایش خود را فقط روی گروه‌های حالت A یا فقط روی گروه‌های غیر حالت A/Mode B اجرا کنید تا از مقایسه معیارهای به‌دست‌آمده در گروه‌های تسهیل‌شده با Chrome با معیارهای به‌دست‌آمده خارج از گروه‌های تسهیل‌شده با Chrome اجتناب کنید.
    • اگر از گروه‌های مرورگر برچسب‌گذاری‌شده توسط Chrome استفاده نمی‌کنید (برای مثال، اجرای آزمایش روی ترافیک دیگر):
      • اطمینان حاصل کنید که تقسیم درمان و کنترل کاربران تصادفی و بی طرفانه است. صرف نظر از تشکیل گروه آزمایش، ویژگی های بازوهای درمان و کنترل را ارزیابی کنید تا مطمئن شوید که گروه های درمان و کنترل قابل مقایسه هستند. (نگاه کنید به: بخش 15 )
      • اطمینان حاصل کنید که ویژگی‌های کاربر و پیکربندی‌های کمپین گروه‌های درمان و کنترل یکسان است (به عنوان مثال، از موقعیت مکانی مشابه در هر دو گروه درمان و کنترل استفاده کنید). (نگاه کنید به: بخش 28 )
        • مثال‌های خاص عبارتند از: اطمینان حاصل کنید که انواع تبدیل مشابه با استفاده از پنجره اسناد و منطق اسناد یکسان اندازه‌گیری می‌شوند، کمپین‌ها مخاطبان، گروه‌های علاقه‌مند، و مکان‌های جغرافیایی مشابه را هدف قرار می‌دهند و از قالب‌های تبلیغاتی و کپی تبلیغات مشابه استفاده می‌کنند.
      • اطمینان حاصل کنید که اندازه‌های اولیه جمعیت برای گروه‌های درمان و کنترل به اندازه کافی بزرگ است تا برای مناقصه و آزمایش انعطاف‌پذیر باشد.
    • در صورت استفاده از گروه‌های مرورگر برچسب‌گذاری‌شده توسط Chrome ( حالت A )، تصادفی‌سازی نمونه‌های مرورگر Chrome به گروه‌ها توسط Chrome انجام می‌شود. توصیه می‌شود مانند قبل بررسی کنید که تصادفی‌سازی به گروه‌های بی‌طرف / قابل مقایسه برای اهداف شما منجر شود.

نکات پیشنهادی برای تحلیل

  • توصیه می‌کنیم بازوهای کنترل و درمان را تعریف کنید و از یک مدل یادگیری ماشینی متفاوت برای بهینه‌سازی مناقصه برای هر بازو استفاده کنید:
    • کنترل 1 - استفاده از مدل بهینه‌سازی مناقصه آموزش‌دیده بر روی روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی‌های شخص ثالث)
    • (اختیاری) کنترل 2 - از مدل بهینه‌سازی مناقصه استفاده کنید که بر روی جعبه ایمنی حریم خصوصی و بدون کوکی‌های شخص ثالث آموزش دیده است، یعنی فقط داده‌های کوکی غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
    • درمان - استفاده از مدل بهینه‌سازی مناقصه آموزش‌دیده در Attribution Reporting API و داده‌های کوکی‌های غیر شخص ثالث
      • توجه داشته باشید که ممکن است برخی از کوکی‌های شخص ثالث هنوز در دسترس برخی از سایت‌ها باشد - برای دقیق‌ترین نتایج، از آن کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارهای

  • تعیین کنید که کدام معیارها برای اندازه‌گیری نتایج برای کسب‌وکار شما منطقی است و شرحی از معنای این معیار و نحوه اندازه‌گیری آن را نیز شامل کنید.
    • به عنوان مثال، معیار معنی‌دار می‌تواند خرج کردن (درآمد ناشر) باشد که با راهنمایی‌های CMA برای درک تأثیر انحلال کوکی شخص ثالث بر «درآمد به ازای هر نمایش» مطابقت دارد. برای جزئیات بیشتر به بخش 19 مراجعه کنید.
  • اگر از هر معیار مبتنی بر تبدیل گزارش می دهید، باید از روش اندازه گیری یکسانی برای هر بازو استفاده کنید تا از آزمایش چند متغیره (آزمایش تأثیر بر بهینه سازی و گزارش در یک آزمایش) اجتناب کنید. برای راهنمایی در مورد نحوه قالب بندی بازخورد کمی، جداول الگوی پیشنهادی را ببینید.
  • روش‌های دیگری را برای جمع‌آوری معیارهای تاثیر بهینه‌سازی قیمت پیشنهادی در نظر بگیرید - برای مثال، با استفاده از شبیه‌سازی پیشنهادها. آیا معیارهای شبیه سازی شده ای وجود دارد که برای درک تأثیر کوکی های شخص ثالث و ARA بر مدل های پیشنهادی شما مفید باشد؟
  • مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است) باشد.

تحلیل و بررسی

  • پوشش:
    • آیا می توانید در مقایسه با کوکی های شخص ثالث، مجموعه مشابهی از کاربران را اندازه گیری کنید؟ آیا تغییری در پوشش (مثلاً با برنامه به وب) مشاهده می کنید؟
    • آیا می‌توانید تبدیل‌ها (و ابعاد/معیارها) را که خودتان یا تبلیغ‌کنندگانتان بیشتر به آن اهمیت می‌دهند اندازه‌گیری کنید؟
  • تفاوت بین گروه ها چگونه بر موارد زیر تأثیر می گذارد:
    • به عنوان مثال، گزارش آگهی دهنده. چند درصد از تبدیل‌های کلیدی را می‌توانید گزارش دهید.
    • برای مثال، آموزش و بهینه‌سازی، تأثیر داده‌های تبدیل مختلف را بر عملکرد مدل شبیه‌سازی می‌کند.
  • بازخورد کیفی دیگر:
    • چگونه ARA بر پیچیدگی تنظیم بهینه‌سازی مناقصه تبلیغ‌کنندگان تأثیر می‌گذارد؟
    • آیا ARA به تبلیغ‌کنندگان کمک می‌کند یا مانع از تمرکز آنها بر معیارها و اهدافی می‌شود که برایشان مهم است؟

جداول الگوی پیشنهادی برای تاثیر مناقصه

(مناقصه) جدول 1:

جدول الگوی نمونه ای از نتایج تجربی که فعالان بازار باید به CMA ارسال کنند (برگرفته از صفحه 18 ، اما آزمایش کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر معنادار/ امکان پذیر است و جدول را در صورت نیاز تطبیق دهند) .

درمان در مقابل کنترل 1
حالت نهایی پیشنهادی را با وضعیت فعلی مقایسه می کند		 درمان در مقابل کنترل 2
حالت نهایی پیشنهادی را با هیچ API PS مقایسه می کند.		 کنترل 2 در مقابل کنترل 1
بهینه‌سازی مناقصه را با و بدون کوکی‌های شخص ثالث، بدون هیچ گونه API PS مقایسه می‌کند.
روش اندازه گیری برای جلوگیری از آزمایش چند متغیره، از داده‌های کوکی شخص ثالث و کوکی غیر شخص ثالث برای اندازه‌گیری معیارهای مبتنی بر تبدیل برای هر دو بازو در هر آزمایش استفاده کنید.
درآمد به ازای هر نمایش اثر اثر اثر
خطای استاندارد خطای استاندارد خطای استاندارد
فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد فاصله اطمینان 95 درصد
(متریک های خود را اضافه کنید)
(مناقصه) جدول 2:

جدول الگوی مثال برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی برای ارائه بیشتر/امکان‌پذیرتر هستند و جدول را در صورت لزوم تطبیق دهند) .

رفتار
بهینه سازی مناقصه با استفاده از ARA و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 1
بهینه سازی مناقصه با استفاده از کوکی های شخص ثالث و هر داده کوکی غیر شخص ثالثی که استفاده می کنید		 کنترل 2
بهینه‌سازی مناقصه فقط با استفاده از داده‌های کوکی غیر شخص ثالث
روش اندازه گیری برای جلوگیری از آزمایش چند متغیره، از کوکی های شخص ثالث و داده های کوکی غیر شخص ثالث برای اندازه گیری معیارهای مبتنی بر تبدیل در همه بازوها استفاده کنید.
درآمد به ازای هر نمایش منظور داشتن منظور داشتن منظور داشتن
انحراف معیار انحراف معیار انحراف معیار
صدک 25 و 75 صدک 25 و 75 صدک 25 و 75
(متریک های خود را اضافه کنید)

هدف 3 - آزمایش بارگذاری سرویس تجمع

به چارچوب آزمایش بار سرویس تجمعی مراجعه کنید.