מדריך לבדיקת מדידה

מטרת המדריך הזה היא לספק הדרכה לביצוע בדיקה עצמאית של Attribution Reporting API בארגז החול לפרטיות. למידע נוסף, ראה: סעיף 12.

• מדידת התוצאות של זרוע הבקרה והטיפול בתכנון הניסיוני 1 ו-2 של CMA כלולה בהנחיות הבדיקה של ממשקי ה-API הרלוונטיים, מאחר שמטרת הניסויים האלה היא לבדוק את יעילות השימוש ב-Protected Audience & Topics API. למידע נוסף, ראה סעיף 11.

לפני שמתחילים

• מומלץ לעיין בהנחיות לגבי הגדרה והגדרה של Attribution Reporting API.
• כדאי לעיין בהנחיות לבדיקות של CMA: הערה לגבי ניסויים (נובמבר 2022), הנחיות בדיקה (יוני 2023) והנחיות נוספות לבדיקות (אוקטובר 2023).

יעדי הערכה והגדרת הצעה לניסוי

יעד 1 – קביעת היעילות של Attribution Reporting API לצורך דיווח

אנחנו מציעים הגדרת A/A כדי למדוד את ההשפעה על הדיווח

• ההצעה הזו תואמת להנחיות של CMA בנוגע להערכת מדדים שמבוססים על המרות. לפרטים נוספים, אפשר לעיין בסעיף 21 ובסעיף 12.
• אנחנו מעדיפים את השיטה הזו על פני מצב A/B, כי אפשר לבצע בדיקה של Attribution Reporting API (ARA) על ידי מדידה בו-זמנית של המרות על אותה קבוצה של חשיפות באמצעות שתי שיטות מדידה שונות (קובצי cookie של צד שלישי + נתונים של קובצי cookie שאינם של צד שלישי ו-ARA + נתונים של קובצי cookie שאינם של צד שלישי).
• ניסוי A/A גם מבודד את ההשפעה של Attribution Reporting API על מעקב ההמרות (לדוגמה, הוא מונע שינויים בשיעורי ההמרות עקב מחסור בקובצי cookie של צד שלישי).

נקודות ניתוח מוצעות

• מומלץ לבחור פלח תנועה שיהיה גדול מספיק כדי לקבל תוצאות עם מובהקות סטטיסטית, והוא כולל קובצי cookie של צד שלישי וממשקי API של ארגז החול לפרטיות. מומלץ שכל התנועה תהיה, מלבד מצב ב' (המשבית קובצי cookie של צד שלישי).
  • מומלץ להחריג את מצב ב' מניסוי ה-A/A כי קובצי cookie של צד שלישי לא יהיו זמינים ולא תוכלו להשוות בין תוצאות של ARA לבין תוצאות שיוך (Attribution) שמבוססות על קובצי cookie של צד שלישי.
  • אם אתם רוצים לכלול את מצב ב', מומלץ להפעיל דוחות ניפוי באגים עבור פלח התנועה במצב ב'. דוחות של ניפוי באגים יעזרו לך לפתור בעיות בהגדרות או בהטמעה.
• אם אתם מתכננים לבדוק פלח קטן יותר של תנועה, סביר להניח שתוצאות המדידה יהיו רועשות יותר מהמצופה. מומלץ לשים לב בניתוח איזה חלק מתנועת הגולשים היה בשימוש, ואם אתם מדווחים על תוצאות על סמך דוחות עם רעש, או על דוחות של ניפוי באגים ללא רעש.
  • בדוחות סיכום, סביר להניח שערכי הסיכום יהיו נמוכים יותר, ושירות הצבירה יוסיף רעש מאותה התפלגות, ללא קשר לערך הסיכום.
• לבדוק מתודולוגיות מדידה שונות באותו פלח תנועה
  • קבוצת ביקורת 1 – שימוש במתודולוגיות המדידה הנוכחיות (קובצי Cookie של צד שלישי + נתונים של קובצי Cookie שאינם של צד שלישי)
  • (אופציונלי) אמצעי בקרה 2 – ללא ארגז חול לפרטיות וללא קובצי cookie של צד שלישי, כלומר רק נתונים של קובצי cookie שאינם של צד שלישי
    • חשוב לזכור שיכול להיות שעדיין יכולים להיות קובצי cookie של צד שלישי שזמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, אין להשתמש בקובצי ה-cookie של צד שלישי למדידה בשיטת הבקרה 2 או בשיטת הטיפול
  • טיפול – ממשקי API של ארגז החול לפרטיות ונתונים של קובצי cookie שאינם של צד שלישי
    • חשוב לזכור שיכול להיות שעדיין יכולים להיות קובצי cookie של צד שלישי שזמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, אין להשתמש בקובצי ה-cookie של צד שלישי למדידה בשיטת הבקרה 2 או בשיטת הטיפול

מדדים

• צריך להגדיר אילו מדדים מתאימים לעסק כדי למדוד את התוצאות, ולהוסיף תיאור של משמעות המדד ואיך הוא נמדד.
  • מומלץ להתמקד במאפיינים ובמדדים שחשובים למפרסמים שלך. לדוגמה, אם המפרסמים שלכם מתמקדים בהמרות מסוג רכישה, כדאי למדוד את מספר ההמרות של ההמרות האלה ואת ערך הרכישה.
• מדדים שמבוססים על ספירה או סכום (כמו שיעור המרה) הם אידיאליים יותר לעבודה עם מדדים שמבוססים על עלות להמרה (למשל, עלות להמרה). בניתוח A/A, אפשר להסיק את מדדי העלות במלואם מספירת ההמרות או מהסכום של ערכי ההמרות.
• מציינים אם המדדים מבוססים על דוחות ברמת האירוע, דוחות סיכום או שילוב של שני הדוחות (ואם נעשה שימוש בדוחות של ניפוי באגים).
• כדי לקבל הנחיות לבחירת הפורמט של משוב כמותי, אפשר לעיין בטבלאות התבניות המוצעות.

ניתוח

• כיסוי:
  • האם יש לכם אפשרות לבצע מדידה בקבוצה דומה של משתמשים בהשוואה לקובצי cookie של צד שלישי? האם יש כיסוי גבוה יותר (למשל, באפליקציה לאתר)?
  • האם יש לכם אפשרות למדוד את ההמרות (ואת המאפיינים או המדדים) שהכי חשובים לכם או למפרסמים שלכם?
• משוב כמותי
  • בדוחות של המפרסם, לדוגמה, מהו אחוז ההמרות העיקריות שניתן לדווח עבור המפרסם הזה, או איזה אחוז מהקמפיינים עומדים ברף איכות הדיווח (הגדרה של סרגל איכות תעזור לבצע התאמה בקמפיינים עם מספרי המרות קטנים)
  • בפילוח לפי מפרסמים, למשל, האם יש מפרסמים שתלויים יותר או פחות בקובצי cookie של צד שלישי לצורך דיווח כיום?
• משוב איכותני אחר:
  • איך ARA משפיע על המורכבות של הגדרת המדידה/השיוך (Attribution) על ידי המפרסמים?
  • האם ARA עוזר למפרסמים או פוגע בהם להתמקד במדדים וביעדים שחשובים להם?

טבלאות מומלצות של תבניות להשפעה של הדיווח

(דיווח) טבלה 1:

טבלת תבניות לדוגמה לדיווח על תוצאות ניסוי ל-CMA (נלקחה מדף 18, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים ביותר / הניתיים לספק את הטבלה ולהתאים אותם לפי הצורך).

	טיפול לעומת קבוצת בקרה 1 השוואה בין מצב הסיום המוצע למצב הנוכחי	קבוצת טיפול לעומת קבוצת בקרה 2 משווה בין מצב הסיום המוצע לבין לא כלל ממשקי API של PS.	קבוצת בקרה 2 לעומת קבוצת הבקרה 1 השוואה בין מעקב המרות עם קובצי cookie של צד שלישי ובלי קובצי cookie של צד שלישי, ללא ממשקי PS API.
מתודולוגיית המדידה	השוואה בין מעקב ההמרות לטיפול (ARA עם נתונים של קובצי cookie שאינם של צד שלישי) לבין קבוצת הבקרה הראשונה (נתונים לגבי קובצי cookie של צד שלישי וקובצי cookie שאינם של צד שלישי)	השוואה בין מעקב ההמרות לטיפול (ARA עם נתונים של קובצי cookie שאינם של צד שלישי) לבין קבוצת הבקרה 2 (רק נתונים של קובצי cookie שאינם של צד שלישי)	השוואה בין מדידת ההמרות בקבוצת הבקרה 2 (נתונים לגבי קובצי cookie שאינם של צד שלישי בלבד) לבין קבוצת הבקרה 1 (נתונים לגבי קובצי cookie של צד שלישי וקובצי cookie שאינם של צד שלישי)
המרות לדולר	השפעה	השפעה	השפעה
	שגיאה רגילה	שגיאה רגילה	שגיאה רגילה
	95% רווח בר-סמך	95% רווח בר-סמך	95% רווח בר-סמך
סה"כ המרות	השפעה	השפעה	השפעה
	שגיאה רגילה	שגיאה רגילה	שגיאה רגילה
	95% רווח בר-סמך	95% רווח בר-סמך	95% רווח בר-סמך
שיעור המרה (CVR)	השפעה	השפעה	השפעה
	שגיאה רגילה	שגיאה רגילה	שגיאה רגילה
	95% רווח בר-סמך	95% רווח בר-סמך	95% רווח בר-סמך
(הוספת מדדים משלכם)

(דיווח) טבלה 2:

טבלת תבנית לדוגמה לדיווח על נתונים סטטיסטיים תיאוריים של מדדים בקבוצת הטיפול ובקבוצת הבקרה (הנלקחים מדף 20, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים ביותר / הסבירים ביותר לספק את הטבלה ולהתאים אותה לפי הצורך).

המדד	טיפול מדידת המרות באמצעות ARA וכל הנתונים של קובצי cookie שאינם של צד שלישי שבהם אתה משתמש	אמצעי בקרה 1 מדידת המרות באמצעות קובצי cookie של צד שלישי וכל הנתונים של קובצי cookie שאינם של צד שלישי, שבהם משתמשים	אמצעי בקרה 2 מדידת המרות באמצעות נתונים של קובצי cookie שאינם של צד שלישי בלבד
המרות לדולר	ממוצע	ממוצע	ממוצע
	סטיית תקן	סטיית תקן	סטיית תקן
	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75
סה"כ המרות	ממוצע	ממוצע	ממוצע
	סטיית תקן	סטיית תקן	סטיית תקן
	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75
שיעור המרה (CVR)	ממוצע	ממוצע	ממוצע
	סטיית תקן	סטיית תקן	סטיית תקן
	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75
(הוספת מדדים משלכם)

יעד 2 – קביעת היעילות של Attribution Reporting API לצורך אופטימיזציה של הבידינג

אנחנו מציעים הגדרת A/B כדי למדוד את ההשפעה על האופטימיזציה של הבידינג.

• כדי למדוד את ההשפעה על האופטימיזציה של הבידינג, צריך לאמן שני מודלים שונים של למידת מכונה ולהשתמש בהם בשני פלחים של תנועה – מודל אחד שאומן על מתודולוגיות מדידה קיימות (קובצי cookie של צד שלישי + נתונים של קובצי cookie שאינם של צד שלישי) יוחלו בזרוע הבקרה, ומודל אחד שאומן על Attribution Reporting API + נתונים של קובצי cookie שאינם של צד שלישי להחלה על זרוע הניסוי.
• אימון המודל צריך להתבסס על נפח התנועה שהבודק קובע שנדרש כדי למקסם את הביצועים, גם אם זרוע הניסוי היא פלח תנועה קטן יותר ויש חפיפה בין אוכלוסיות האימון (לדוגמה, להשתמש במודל קובץ ה-cookie הקיים של צד שלישי שמבצע אימון על כל התנועה, ולאמן את מודל ARA על כל התנועה של ARA שמופעלת עבור יעד 1).
  • אם אתם שולחים תוצאות ל-CMA, שימו לב אם יש הבדל משמעותי בין פלחי התנועה שמשמשים לאימון מודלים שונים (לדוגמה, אם מודלים של צד שלישי שמבוססים על קובצי cookie מאומנים על 100% מהתנועה, אבל מודלים שמבוססים על ARA עוברים אימון רק על 1% מהתנועה).
• אם אפשר, ההדרכה בנושא מודל הבידינג של שיטת הבידינג והמודל של קבוצת הבקרה צריכה להתבצע במשך אותו פרק זמן.
• כדאי לשקול אם כדאי לאמן ולעדכן באופן רציף את המודלים של הבידינג במהלך הניסוי. אם כן, האם כדאי להתאמן על כמה שיותר תנועה או רק על התנועה מזרועות הניסוי והבקרה.
• יש להשתמש במודלים השונים לפלחי תנועה נפרדים בתור ניסוי A/B. כדי לבצע רנדומיזציה של משתמשים ולהעניק הקצאה בזרועות הניסוי והבקרה, מומלץ להשתמש בקבוצות דפדפנים שמתויגות באמצעות Chrome (מצב א'), או להריץ ניסוי משלכם עם קבוצות אקראיות של דפדפנים. אנחנו לא ממליצים להשתמש במצב ב', כי מחסור בקובצי cookie של צד שלישי יקשה על הדיווח על מדדים שמבוססים על המרות.
  • קבוצות דפדפנים בסיוע Chrome יוחרגו ממופעי Chrome מסוימים, כמו משתמשי Enterprise Chrome, שבהם ייתכן שקבוצות דפדפנים אקראיות שלכם לא יחריגו את המופעים האלה של Chrome. לכן, כדאי להפעיל את הניסוי רק בקבוצות של מצב א' או רק בקבוצות שלא במצב א'/ב' מצב ב', כדי להימנע מהשוואת מדדים שהושגו בקבוצות ש-Chrome מסייע למדדים שהושגו מחוץ לקבוצות ש-Chrome מסייע.
  • אם לא משתמשים בקבוצות דפדפנים שמסומנות בתווית שנתמכת על ידי Chrome (לדוגמה, הפעלת ניסוי על תנועה אחרת):
    • חשוב לוודא שחלוקת הטיפול והבקרה של המשתמשים היא אקראית ובלתי משוחדת. בלי קשר להגדרה של קבוצת הניסוי, כדאי להעריך את המאפיינים של זרועות הניסוי וזרוע הבקרה כדי להבטיח שקבוצות הטיפול וקבוצות הבקרה יהיו דומות. (פרטים נוספים: סעיף 15)
    • חשוב לוודא שמאפייני המשתמשים והגדרות הקמפיין של קבוצות הטיפול והבקרה זהות (לדוגמה, השתמשו באזורים גיאוגרפיים דומים גם בקבוצת הטיפול וגם בקבוצת הבקרה). (פרטים נוספים זמינים: סעיף 28)
      • לדוגמה: חשוב לוודא שסוגים דומים של המרות נמדדים באמצעות אותו חלון שיוך ואותו לוגיקת שיוך, בקמפיינים שמטרגטים קהלים, קבוצות של תחומי עניין ואזורים גיאוגרפיים דומים, ושהם משתמשים בתוכן מודעה ובפורמטים דומים של מודעות.
    • חשוב לוודא שהגודל הראשוני של האוכלוסייה עבור קבוצות הטיפול והבקרה יהיה גדול מספיק, כדי שתהיה לו גמישות בכל הנוגע לבידינג ולניסויים.
  • אם משתמשים בקבוצות דפדפנים שמתויגות באמצעות Chrome (מצב A), תהליך הסידור הרנדומלי של מופעי דפדפן Chrome לקבוצות מתבצע על ידי Chrome. מומלץ לבדוק כמו קודם שתוצאות הרנדומיזציה מובילות לקבוצות ללא הטיות או בקבוצות דומות, למטרות שלכם.

נקודות ניתוח מוצעות

• מומלץ להגדיר זרועות בקרה וזרועות ניסוי, ולהשתמש במודל שונה של למידת מכונה לאופטימיזציה של הבידינג בכל זרוע:
  • קבוצת ביקורת 1 – שימוש במודל האופטימיזציה של הבידינג, שאומן לפי מתודולוגיות המדידה הנוכחיות (קובצי Cookie של צד שלישי + נתונים של קובצי Cookie שאינם של צד שלישי)
  • (אופציונלי) אמצעי בקרה 2 – משתמשים במודל האופטימיזציה של הבידינג, שאינו מבוסס על ארגז חול לפרטיות ולא משתמש בקובצי Cookie של צד שלישי, כלומר רק נתונים של קובצי Cookie שאינם של צד שלישי
    • חשוב לזכור שיכול להיות שעדיין יש קובצי cookie של צד שלישי שזמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, אין להשתמש בקובצי ה-cookie של צד שלישי למטרות מדידה בשיטת הבקרה 2 או בשיטת הטיפול.
  • טיפול – שימוש במודל האופטימיזציה של הבידינג, שמבוסס על Attribution Reporting API ועל נתונים של קובצי cookie שאינם של צד שלישי
    • חשוב לזכור שיכול להיות שעדיין יש קובצי cookie של צד שלישי שזמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, אין להשתמש בקובצי ה-cookie של צד שלישי למטרות מדידה בשיטת הבקרה 2 או בשיטת הטיפול.

מדדים

• צריך להגדיר אילו מדדים מתאימים לעסק כדי למדוד את התוצאות, ולהוסיף תיאור של משמעות המדד ואיך הוא נמדד.
  • לדוגמה, המדד המשמעותי יכול להיות הוצאות (הכנסה של בעל האפליקציה), שתואם להנחיות של CMA להבנת ההשפעה של ההוצאה משימוש של קובצי Cookie של צד שלישי על 'הכנסות לכל חשיפה'. מידע נוסף זמין בסעיף 19.
• אם אתם מדווחים על מדדים שמבוססים על המרות, עליכם להשתמש באותה מתודולוגיית מדידה עבור כל זרוע, כדי להימנע מבדיקה רבת-משתנים (בדיקת ההשפעה על האופטימיזציה והדיווח בניסוי אחד). כדי לקבל הנחיות לבחירת הפורמט של משוב כמותי, אפשר לעיין בטבלאות התבניות המוצעות.
• כדאי לשקול דרכים אחרות לאסוף מדדים לגבי ההשפעה של האופטימיזציה של הבידינג – למשל, באמצעות סימולציה של הצעות מחיר. יש מדדים מדומים שיעזרו לכם להבין את ההשפעה של קובצי cookie של צד שלישי ו-ARA על המודלים שלכם לבידינג?
• מציינים אם המדדים מבוססים על דוחות ברמת האירוע, דוחות סיכום או שילוב של שני הדוחות (ואם נעשה שימוש בדוחות של ניפוי באגים).

ניתוח

• כיסוי:
  • האם יש לכם אפשרות לבצע מדידה בקבוצה דומה של משתמשים בהשוואה לקובצי cookie של צד שלישי? האם יש שינויים בכיסוי (לדוגמה, במעבר מאפליקציה לאתר)?
  • האם אתם יכולים למדוד את ההמרות (ואת המאפיינים/המדדים) שהכי חשובים לכם או למפרסמים שלכם?
• איך ההבדלים בין הקבוצות ישפיעו על:
  • דוחות של מפרסמים, לדוגמה, על איזה אחוז של המרות מפתח תוכלו לדווח.
  • לדוגמה, אימון ואופטימיזציה מדמה את ההשפעה של נתוני המרות שונים על ביצועי המודל.
• משוב איכותני אחר:
  • איך ARA משפיע על המורכבות של הגדרת האופטימיזציה של הבידינג של המפרסמים?
  • האם ARA עוזר למפרסמים או מונע מהם להתמקד במדדים וביעדים שחשובים להם?

טבלאות מומלצות של תבניות לדיווח על ההשפעה של הצעות מחיר

(בידינג) טבלה 1:

טבלת תבניות לדוגמה של תוצאות ניסוי שהמשתתפים בשוק צריכים לשלוח ל-CMA (נלקח מדף 18, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים ביותר / הסבירים ביותר לספק ולשנות את הטבלה לפי הצורך).

	טיפול לעומת קבוצת בקרה 1 השוואה בין מצב הסיום המוצע למצב הנוכחי	קבוצת טיפול לעומת קבוצת בקרה 2 משווה בין מצב הסיום המוצע לבין לא כלל ממשקי API של PS.	קבוצת בקרה 2 לעומת קבוצת הבקרה 1 השוואה בין אופטימיזציה של בידינג עם קובצי cookie של צד שלישי ובלי קובצי cookie של צד שלישי, ללא ממשקי PS API.
מתודולוגיית המדידה	כדי להימנע מבדיקה רבת-משתנים, יש להשתמש בנתונים מקובצי Cookie של צד שלישי ובנתונים של קובצי Cookie שאינם של צד שלישי כדי למדוד מדדים מבוססי-המרות עבור שתי הזרועות בכל ניסוי.
הכנסות לכל חשיפה	השפעה	השפעה	השפעה
	שגיאה רגילה	שגיאה רגילה	שגיאה רגילה
	95% רווח בר-סמך	95% רווח בר-סמך	95% רווח בר-סמך
(הוספת מדדים משלכם)

(בידינג) טבלה 2:

טבלת תבנית לדוגמה לדיווח על נתונים סטטיסטיים תיאוריים של מדדים בקבוצת הטיפול ובקבוצת הבקרה (הנלקחים מדף 20, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים ביותר / הסבירים ביותר לספק את הטבלה ולהתאים אותה לפי הצורך).

	טיפול אופטימיזציה של הבידינג באמצעות ARA וכל הנתונים של קובצי cookie שאינם של צד שלישי	אמצעי בקרה 1 אופטימיזציה של הבידינג תוך שימוש בקובצי cookie של צד שלישי ובנתונים של קובצי cookie שאינם של צד שלישי שנמצאים בשימוש	אמצעי בקרה 2 אופטימיזציה של הבידינג על סמך נתונים של קובצי cookie שאינם של צד שלישי בלבד
מתודולוגיית המדידה	כדי להימנע מבדיקה רבת-משתנים, צריך להשתמש בנתונים של קובצי Cookie של צד שלישי ובנתונים של קובצי Cookie שאינם של צד שלישי כדי למדוד מדדים שמבוססים על המרות בכל הזרועות.
הכנסות לכל חשיפה	ממוצע	ממוצע	ממוצע
	סטיית תקן	סטיית תקן	סטיית תקן
	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75	האחוזונים ה-25 וה-75
(הוספת מדדים משלכם)

יעד 3 – טעינה של בדיקת שירות הצבירה

למידע נוסף, ראו Aggregation Service Load Framework.