הסבר על רעש בדוחות סיכום

להבין מה המשמעות של רעש, איפה הוא נוסף ואיך הוא משפיע על מאמצי המדידה שלכם.

דוחות סיכום הם תוצאה של הצבירה של דוחות נצברים. כשדוחות נצברים מקובצים ומעובדים על ידי שירות הצבירה, רעש (כמות אקראית של נתונים) מתווסף לדוחות הסיכום שמתקבלים. הוספנו רעש כדי להגן על פרטיות המשתמשים. מטרת המנגנון הזה היא ליצור מסגרת שתתמוך במדידה דיפרנציאלית פרטית.

הוספת רעש לדוח הסיכום הסופי.

מבוא לרעש בדוחות סיכום

הוספת רעש היא בדרך כלל לא חלק ממדידת המודעות כיום, אבל במקרים רבים הרעש שנוסף לא ישנה משמעותית את האופן שבו אתם מפרשים את התוצאות.

כדאי לחשוב על זה באופן הבא: האם היית בטוח לקבל החלטה על סמך נתון מסוים, אם הנתונים לא מראים רעש?

לדוגמה, האם מפרסם יהיה בטוח בשינוי האסטרטגיה או התקציבים של הקמפיין, אם הקמפיין א' קיבל 15 המרות וקמפיין ב' קיבל 16 המרות?

אם התשובה היא לא, הרעש לא רלוונטי.

מה שתצטרכו לעשות הוא להגדיר את השימוש ב-API באופן הבא:

  1. התשובה לשאלה שלמעלה היא כן.
  2. הרעש מנוהל כך שאין לו השפעה משמעותית על היכולת שלכם לקבל החלטה על סמך נתונים מסוימים. אפשר לגשת לנושא הזה כך: כדי להשיג מספר מינימלי צפוי של המרות, רצוי שהרעש במדד שנאסף יישאר נמוך מ-% מסוים.

בחלק זה ובסעיפים הבאים, נתאר אסטרטגיות להשגת 2.

מושגי ליבה

שירות הצבירה מוסיף 'רעש' פעם אחת לכל ערך סיכום, כלומר פעם אחת לכל מפתח, בכל פעם שמתקבלת דוח סיכום.

ערכי הרעש האלה נשלפים באופן אקראי מהתפלגות הסתברות ספציפית, שמתוארת בהמשך.

כל הרכיבים שמשפיעים על הרעש מסתמכים על שני מושגים עיקריים.

  1. התפלגות הרעש (פרטים בהמשך) זהה, בלי קשר לערך הסיכום, נמוך או גבוה. לכן, ככל שערך הסיכום גבוה יותר, כך ההשפעה של הרעש ככל הנראה קטנה יותר ביחס לערך הזה.

    לדוגמה, נניח שגם ערך רכישה מצטבר של 80,000 ש"ח וערך רכישה מצטבר של 800 ש"ח כפופים לרעש שנבחר מאותה התפלגות.

    נניח שהרעש מההתפלגות הזו נע בערך בין 100- ל-100+.

    • בערך הרכישה הכולל של 80,000 ש"ח, ערך הרעש משתנה בין 0 ל-100/20,000=0.5%.
    • בערך הרכישה הכולל של 800 ש"ח, ערך הרעש משתנה בין 0 ל-100/200=50%.

    לכן, לרעש סביר שתהיה השפעה נמוכה יותר על ערך הרכישה המצטבר של 80,000 ש"ח מאשר על השווי של 800 ש"ח. באופן יחסי, סביר להניח שהסכום של 20,000$ יהיה פחות רועש, וסביר שיחס האות לרעש גבוה יותר.

    לערכים נצברים גבוהים יותר יש השפעה נמוכה יחסית של הרעש.

    לכך יש כמה השלכות מעשיות חשובות, המתוארות בקטע הבא. המנגנון הזה הוא חלק מתכנון ה-API, וההשלכות המעשיות הן ארוכי טווח. הם ימשיכו למלא תפקיד חשוב בתהליך התכנון וההערכה של אסטרטגיות צבירת הנתונים השונות.

  2. הרעש נגזר מאותה התפלגות, בלי קשר לערך הסיכום, אבל ההתפלגות הזו תלויה בכמה פרמטרים. טכנולוגיות פרסום יכולות לשנות את אחד מהפרמטרים האלה, epsilon, במהלך גרסת המקור הסופית, כדי להעריך התאמות שונות של תועלת/פרטיות. עם זאת, אפשר להתייחס ליכולת לשנות אפסילון כזמנית. נשמח לקבל ממך משוב על תרחישים לדוגמה והערכים של אפסילון שמניבים תוצאות טובות.

לחברת פרסום דיגיטלי אין שליטה ישירה על הדרכים להוספת רעש, אבל היא יכולה להשפיע על ההשפעה של הרעש על נתוני המדידה שלה. בקטעים הבאים נדון באופן שבו ניתן להשפיע בפועל על רעש.

לפני שנעשה זאת, נבחן מקרוב את האופן שבו רעש מיושם.

התקרבות: איך הרעש מיושם

התפלגות רעש אחת

הרעש מופק מהתפלגות לפלס עם הפרמטרים הבאים:

  • ממוצע (μ) של 0. פירוש הדבר הוא שערך הרעש הצפוי הוא 0 (לא נוסף רעש), וסביר להניח שערך הרעש יהיה קטן יותר מהמקור, כי הוא יהיה גדול יותר (המצב הזה נקרא לפעמים ללא הטיה).
  • פרמטר קנה מידה של b = CONTRIBUTION_BUDGET / epsilon.
    • CONTRIBUTION_BUDGET מוגדר בדפדפן.
    • epsilon קבוע בשרת הצבירה.

התרשים הבא מציג את פונקציית צפיפות ההסתברות של התפלגות לפלס עם μ=0, b = 20:

פונקציית צפיפות הסתברות של התפלגות לפלס עם μ=0, b = 20

ערכי רעש אקראיים, התפלגות רעש אחת

נניח שטכנולוגיית המודעות מבקשת דוחות סיכום עבור שני מפתחות צבירה, מפתח1 ומפתח2.

שירות הצבירה בוחר שני ערכי רעש x1 ו-x2, לאחר אותה התפלגות רעש. x1 מתווסף לערך הסיכום של key1 ו-x2 מתווסף לערך הסיכום של key2.

בתרשימים נציג ערכי רעש זהים. זוהי דרך פשוטה יותר. במציאות, ערכי הרעש משתנים כי הם נגזרים באופן אקראי מההתפלגות.

כך ניתן לראות שכל ערכי הרעש מגיעים מאותה התפלגות, והם בלתי תלויים בערך הסיכום שעליו הם חלים.

מאפיינים אחרים של רעש

המערכת מחילה רעש על כל ערך סיכום, כולל ערכים ריקים (0).

גם ערכי סיכום ריקים חשופים לרעש.

לדוגמה, גם אם ערך הסיכום האמיתי של מפתח נתון הוא 0, ערך הסיכום עם הרעש שיופיע בדוח הסיכום עבור המפתח הזה יהיה (סביר להניח) לא יהיה 0.

ערך 'רעש' יכול להיות מספר חיובי או שלילי.

דוגמאות לרעש חיובי ושלילי.

לדוגמה: אם הסכום נרכש לפני רעש של 327,000, הערך של הרעש יכול להיות +6,000 או -6,000 (אלה ערכים שרירותיים לדוגמה).

הערכת הרעש

חישוב סטיית התקן של הרעש

סטיית התקן של הרעש היא:

b*sqrt(2) = (CONTRIBUTION_BUDGET / epsilon)*sqrt(2)
דוגמה

כשאפסילון = 10, סטיית התקן של הרעש היא:

b*sqrt(2) = (CONTRIBUTION_BUDGET / epsilon)*sqrt(2) = (65,536/10)*sqrt(2) = 9,267

בדיקה אם ההבדלים במדידה משמעותיים

מאחר שאתם יודעים את סטיית התקן של הרעש שנוסף לכל פלט של ערך על ידי שירות הצבירה, תוכלו לקבוע ערכי סף מתאימים להשוואה כדי לקבוע אם ההבדלים המתועדים נובעים מרעש.

לדוגמה, אם הרעש שנוסף לערך הוא בערך 10 +/- 10 (המביא בחשבון את ההתאמה לקנה המידה) וההפרש בערך בין שני קמפיינים הוא גדול מ-100, אפשר להסיק בבטחה שההפרש בערך שנמדד בין כל הקמפיינים לא נובע מרעש לבדו.

עניין ושיתוף משוב

אתם יכולים להשתתף ב-API הזה ולהתנסות בו.

השלבים הבאים