מידע על המסמך הזה
מה תמצאו במאמר הזה?
- כדאי להבין אילו אסטרטגיות כדאי ליצור לפני יצירת דוחות סיכום.
- הכירו את Noise Lab, כלי שעוזר להבין את ההשפעות של פרמטרים שונים של רעש, ומאפשר חקירה והערכה מהירות של אסטרטגיות שונות לניהול רעשים.
שיתוף משוב
המסמך הזה מסכם כמה עקרונות לעבודה עם דוחות סיכום, אבל יש כמה גישות לניהול רעשים שעשויות לא להופיע כאן. הצעות, תוספות ושאלות יתקבלו בברכה.
- כדי לתת משוב ציבורי לגבי אסטרטגיות לניהול רעשים, לגבי תשתיות או פרטיות של ה-API (אפסילון), ולשתף את התצפיות שלכם במהלך הסימולציה עם Noise Lab: הגיבו על הבעיה
- כדי לתת משוב ציבורי על Noise Lab (אפשר לשאול שאלה, לדווח על באג, לבקש תכונה): ליצירת בעיה חדשה
- כדי לתת משוב ציבורי על היבט אחר של ה-API: כאן אפשר ליצור בעיה חדשה
לפני שמתחילים
- למבוא, קראו את המאמר דוחות שיוך (Attribution): דוחות סיכום וסקירה כללית של המערכת המלאה של דוחות השיוך (Attribution).
- מומלץ לעיין בהסברים הסבר על רעש והסבר על מפתחות צבירה כדי להשתמש במדריך הזה בצורה הטובה ביותר.
החלטות בנוגע לעיצוב
עקרון העיצוב המרכזי
יש הבדלים מהותיים בין האופן שבו קובצי cookie של צד שלישי פועלים לבין דוחות סיכום. אחד ההבדלים העיקריים הוא הרעש שמתווסף לנתוני המדידה בדוחות הסיכום. אפשרות אחרת היא לתזמן דוחות.
כדי לקבל גישה לנתוני המדידה של דוחות הסיכום עם יחס אותות לרעש גבוהים יותר, ספקי פלטפורמות בצד הביקוש (DSP) וספקי מדידת ביצועים יצטרכו לעבוד עם המפרסמים שלהם כדי לפתח אסטרטגיות לניהול רעש. כדי לפתח את האסטרטגיות האלה, פלטפורמות DSP וספקי מדידה צריכים לקבל החלטות לגבי עיצוב. ההחלטות האלה עוסקות בעיקרון חיוני אחד:
ערכי הרעש של ההתפלגות נגזרים, ממש באופן מוחלט, מתלויים רק בשני פרמטרים⏤epsilon ובתקציב התרומה⏤ יש לכם כמה אמצעי בקרה אחרים שיכולים להשפיע על יחסי האות לרעש של נתוני מדידת הפלט.
אנחנו צופים שתהליך חזרתי יוביל להחלטות הטובות ביותר, אבל כל וריאציה של ההחלטות תוביל להטמעה שונה במקצת — ולכן יש לקבל את ההחלטות האלה לפני כתיבת כל איטרציה של קוד (ולפני הצגת המודעות).
החלטה: רמת הפירוט של המאפיין
רוצה לנסות ב-Noise Lab?
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את 'נתוני ההמרות'.
- פועלים לפי הפרמטרים שמוגדרים כברירת מחדל. כברירת מחדל, מספר ההמרות היומי TOTAL שניתן לשייך הוא 1,000. אם משתמשים בהגדרת ברירת המחדל, הממוצע הוא כ-40 לכל קטגוריה (מאפייני ברירת מחדל, מספר ברירת המחדל של ערכים שונים אפשריים לכל מאפיין, שיטת מפתחות A). בודקים שהערך הוא 40 במדד 'מספר ההמרות הממוצע שניתן לשייך' ליום לכל חבילה.
- לוחצים על 'סימולציה' כדי להפעיל סימולציה עם הפרמטרים שמוגדרים כברירת מחדל.
- בחלונית הצדדית 'פרמטרים', מחפשים את האפשרות 'מאפיינים'. משנים את השם של Geography ל-City (עיר) ומשנים את מספר הערכים השונים האפשריים ל-50.
- כדאי לבדוק איך השינוי הזה משנה את המספר הממוצע של ההמרות שניתן לשייך ביום לכל חבילה. עכשיו זה הרבה יותר נמוך. הסיבה לכך היא שאם מגדילים את מספר הערכים האפשריים במאפיין הזה בלי לשנות שום דבר אחר, מגדילים את המספר הכולל של הקטגוריות בלי לשנות את מספר אירועי ההמרה שייכללו בכל קטגוריה.
- לוחצים על 'סימולציה'.
- בוחנים את יחסי הרעש של הסימולציה שמתקבלת: יחסי הרעש גבוהים עכשיו בהשוואה לסימולציה הקודמת.
בהתחשב בעקרון העיצוב הבסיסי, סביר להניח שערכי סיכום קטנים יהיו רועשים יותר מערכי סיכום גדולים. לכן, בחירת ההגדרה משפיעה על מספר אירועי ההמרה המיוחסים שיופיעו בסופו של דבר בכל קטגוריה (שנקרא גם מפתח צבירה), והכמות הזו משפיעה על הרעש בדוחות סיכום הפלט הסופיים.
אחת ההחלטות שקשורות לעיצוב שמשפיעה על מספר אירועי ההמרה שמשויכים בקטגוריה אחת היא רמת הפירוט של המאפיין. הנה כמה דוגמאות למפתחות צבירה והמאפיינים שלהם:
- גישה 1: מבנה מפתח אחד עם מימדים משוערים: מדינה x קמפיין פרסום (או הקטגוריה הגדולה ביותר לצבירת קמפיינים) x סוג המוצר (מתוך 10 סוגי מוצרים אפשריים)
- גישה 2: מבנה מפתח אחד עם מימדים מפורטים: עיר x מזהה קריאייטיב x מוצר (מתוך 100 מוצרים אפשריים)
המאפיין City מכיל מאפיין מפורט יותר מאשר המאפיין Country; מזהה הקריאייטיב מפורט יותר ממאפיין הקמפיין, והמאפיין Product מפורט יותר ממאפיין Product type. לכן, בדוח הסיכום של Approach 2 יהיה מספר נמוך יותר של אירועים (המרות) לכל קטגוריה (= לכל מפתח) מאשר גישה 1. מכיוון שהרעש שמתווסף לפלט לא משתנה למספר האירועים בקטגוריה, נתוני המדידה בדוחות הסיכום יהיו רועשים יותר בגישה 2. לכל מפרסם, כדאי לערוך ניסויים עם רמת פירוט שונה בעיצוב של המפתח, כדי להפיק את התוצאות הטובות ביותר.
החלטה: מבנים עיקריים
רוצה לנסות ב-Noise Lab?
במצב פשוט, נעשה שימוש במבנה ברירת המחדל של המפתחות. במצב 'מתקדם' אפשר להתנסות במבני מפתח שונים. חלק מהמאפיינים לדוגמה כלולים, ואפשר גם לשנות אותם.
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את האפשרות 'אסטרטגיית מפתח'. שימו לב שאסטרטגיית ברירת המחדל, שנקראת A בכלי, משתמשת במבנה מפתח מפורט אחד שכולל את כל המאפיינים: גיאוגרפיה x מזהה קמפיין x קטגוריית המוצר.
- לוחצים על 'סימולציה'.
- בחינת יחסי הרעש של הסימולציה שתתקבל.
- משנים את אסטרטגיית המפתח ל-B. יוצגו פקדים נוספים להגדרת מבנה המפתחות.
- מגדירים את מבנה המפתחות, למשל:
- מספר מבני המפתחות: 2
- מבנה מפתח 1 = מיקום גיאוגרפי x קטגוריית מוצר.
- מבנה מפתח 2 = מזהה קמפיין x קטגוריית מוצר.
- לוחצים על 'סימולציה'.
- נניח שאתם מקבלים עכשיו שני דוחות סיכום לכל סוג של יעד מדידה (שני דוחות למספר רכישות, שניים לערך רכישה), מאחר שאתם משתמשים בשני מבני מפתח נפרדים. בדקו את יחסי הרעש שלהם.
- תוכלו גם לנסות את התכונה הזו עם מאפיינים מותאמים אישית משלכם. כדי לעשות זאת, עליך לחפש את הנתונים שאחריהם ברצונך לעקוב: מאפיינים. כדאי להסיר את המאפיינים לדוגמה וליצור מאפיינים משלך באמצעות הלחצנים 'הוספה/הסרה/איפוס' שמתחת למאפיין האחרון.
החלטה נוספת לגבי העיצוב שתשפיע על מספר אירועי ההמרה המשויכים בקטגוריה אחת היא מבני המפתח שבהם אתם מחליטים להשתמש. הנה כמה דוגמאות למפתחות צבירה:
- מבנה מפתח אחד שכולל את כל המאפיינים. נקרא לזה אסטרטגיית מפתח א'.
- שני מבני מפתח, לכל אחד מהם קבוצת משנה של מאפיינים. נקרא לזה אסטרטגיית מפתח ב'.
שיטה א' פשוטה יותר, אבל יכול להיות שתצטרכו לאסוף (לסכם) את ערכי הסיכום הרועשים כללו דוחות סיכום כדי לגשת לתובנות מסוימות. סיכום הערכים האלה מאפשר גם לסכם את הרעש. בשיטה ב', יכול להיות שערכי הסיכום שנחשפים בדוחות הסיכום כבר יספקו לכם את המידע הדרוש. כלומר, סביר להניח שאסטרטגיה ב' תוביל ליחסי אות לרעש טובים יותר בהשוואה לאסטרטגיה א'. עם זאת, יכול להיות שרעש שאתם מכירים כבר מתאים לאסטרטגיה א', ולכן כדאי להעדיף את אסטרטגיה א' כדי ליהנות מפשטות. מידע נוסף זמין בדוגמה המפורטת שמתארת את שתי האסטרטגיות האלה.
ניהול מפתחות הוא נושא מעמיק. אפשר להשתמש בכמה טכניקות מורכבות כדי לשפר את היחסים בין האות לרעש. אחת מהן מתוארת במאמר ניהול מתקדם של מפתחות.
החלטה: תדירות אצווה
רוצה לנסות ב-Noise Lab?
- עוברים למצב פשוט (או למצב מתקדם — שני המצבים פועלים באותו אופן כשמדובר בתדירות קיבוץ)
- בחלונית הצדדית 'פרמטרים', מחפשים את האפשרות 'אסטרטגיית הצבירה שלך' > 'תדירות אצווה'. זוהי תדירות הקיבוץ של דוחות נצברים שמעובדים באמצעות שירות הצבירה במשימה אחת.
- חשוב לשים לב לתדירות הקיבוץ שמוגדרת כברירת מחדל: כברירת מחדל, מתבצעת סימולציה של תדירות קיבוץ יומית.
- לוחצים על 'סימולציה'.
- בחינת יחסי הרעש של הסימולציה שתתקבל.
- שינוי תדירות הקיבוץ לתדירות שבועית.
- בוחנים את יחסי הרעש של הסימולציה שמתקבלת: יחסי הרעש נמוכים עכשיו (טוב יותר) מאשר בסימולציה הקודמת.
החלטה נוספת לגבי עיצוב שתשפיע על מספר אירועי ההמרה המשויכים בקטגוריה אחת היא תדירות הקיבוץ שבה אתם מחליטים להשתמש. תדירות הקיבוץ היא התדירות שבה מעבדים דוחות נצברים.
דוח שמתוזמן לצבירה בתדירות גבוהה יותר (למשל, כל שעה) יכלול פחות אירועי המרה מאשר אותו דוח עם לוח צבירה בתדירות נמוכה יותר (למשל, כל שבוע). כתוצאה מכך, הדוח השעתי יכלול יותר רעש.``` כולל פחות אירועי המרה בהשוואה לאותו דוח עם לוח צבירה בתדירות נמוכה יותר (למשל, כל שבוע). כתוצאה מכך, בדוח השעתי יהיה יחס אות לרעש נמוך יותר בדוח השבועי, וכל שאר המדדים זהים. כדאי להתנסות בדרישות דיווח בתדירויות שונות, ולהעריך יחסי אות לרעש עבור כל אחת מהן.
מידע נוסף זמין במאמרים Batting וצבירה לאורך תקופות זמן ארוכות יותר.
החלטה: משתנים של קמפיינים שמשפיעים על המרות שניתן לשייך
רוצה לנסות ב-Noise Lab?
אמנם קשה לחזות את התופעה הזו, ויכולות להיות לה שינויים משמעותיים מעבר להשפעות העונתיות, אבל נסו להעריך את מספר ההמרות היומיות שאפשר לשייך בנגיעה אחת לעוצמה הקרובה ביותר של 10: 10, 100,1, 000 או 10,000.
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את 'נתוני ההמרות'.
- פועלים לפי הפרמטרים שמוגדרים כברירת מחדל. כברירת מחדל, מספר ההמרות היומי TOTAL שניתן לשייך הוא 1,000. אם משתמשים בהגדרת ברירת המחדל, הממוצע הוא כ-40 לכל קטגוריה (מאפייני ברירת מחדל, מספר ברירת המחדל של ערכים שונים אפשריים לכל מאפיין, שיטת מפתחות A). בודקים שהערך הוא 40 במדד 'מספר ההמרות הממוצע שניתן לשייך' ליום לכל חבילה.
- לוחצים על 'סימולציה' כדי להפעיל סימולציה עם הפרמטרים שמוגדרים כברירת מחדל.
- בחינת יחסי הרעש של הסימולציה שתתקבל.
- עכשיו צריך להגדיר את מספר ההמרות היומי TOTAL שניתן לשייך ל-100. חשוב לשים לב שהפעולה הזו מפחיתה את הערך של מספר ההמרות הממוצע היומי שניתן לשייך לכל חבילה.
- לוחצים על 'סימולציה'.
- חשוב לשים לב שיחסי הרעש גבוהים עכשיו יותר. הסיבה לכך היא שכאשר יש פחות המרות לכל קטגוריה, יותר רעש נוצר כדי לשמור על הפרטיות.
יש הבדל חשוב בין המספר הכולל של ההמרות האפשריות שמפרסם מסוים יכול לבצע, לבין המספר הכולל של המרות משויכות אפשריות. בסופו של דבר משפיע על הרעש בדוחות הסיכום. המרות עם שיוך (Attribution) הן קבוצת משנה של סך כל ההמרות שעשויות להשתנות בהתאם למשתנים של הקמפיין, כמו תקציב מודעה וטירגוט מודעות. לדוגמה, אפשר לצפות למספר גבוה יותר של המרות משויכות בקמפיין פרסום בשווי 10 מיליון דולר לעומת קמפיין פרסום בשווי 40,000 ש"ח, כשכל שאר ההמרות שוות.
מידע שיש לשקול:
- תוכלו להעריך המרות משויכות לפי מודל שיוך (Attribution) למכשיר בנגיעה אחת, כי הן נכללות בהיקף של דוחות הסיכום שנאספים באמצעות Attribution Reporting API.
- מומלץ להביא בחשבון גם מספר תרחישים של המקרים הגרועים ביותר, וגם מספר תרחישי התרחישים הטובים ביותר של המרות משויכות. לדוגמה, כשכל שאר התנאים זהים, כדאי להביא בחשבון את תקציבי הקמפיין המינימליים והמקסימליים האפשריים של המפרסם, ואז לתקין את ההמרות שניתן לשייך לשתי התוצאות כקלט לסימולציה.
- אם אתם שוקלים להשתמש בארגז החול לפרטיות ב-Android, כדאי להביא בחשבון המרות שמשויכות לפלטפורמות שונות בחישוב.
החלטה: שימוש בהתאמת קנה מידה
רוצה לנסות ב-Noise Lab?
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את 'אסטרטגיית הצבירה שלך' > 'קנה מידה'. ההגדרה היא 'כן' כברירת מחדל.
- כדי להבין את ההשפעות החיוביות של התאמה לעומס (scaling) על יחס הרעש, תחילה צריך להגדיר את 'קנה מידה' ל'לא'
- לוחצים על 'סימולציה'.
- בחינת יחסי הרעש של הסימולציה שתתקבל.
- הגדרת קנה המידה ל'כן'. חשוב לזכור ש-Noise Lab מחשב באופן אוטומטי את גורמי קנה המידה שבהם יש להשתמש על סמך הטווחים (ערכים ממוצעים ומקסימליים) של יעדי המדידה בתרחיש שלך. אם מגדירים תקופת ניסיון של המערכת או גרסת המקור לניסיון, כדאי להטמיע חישוב משלכם עבור הגורמים שמשפיעים על ההתאמה.
- לוחצים על 'סימולציה'.
- שימו לב שיחסי הרעש נמוכים עכשיו (טובים יותר) בסימולציה השנייה הזו. הסיבה לכך היא שאתם משתמשים בתכונה 'שינוי קנה מידה'.
בהתאם לעקרון העיצוב המרכזי, הרעש שנוסף הוא פונקציה של תקציב התרומה.
לכן, כדי להגדיל את היחסים בין האות לרעש, אפשר לשנות את הערכים שנאספים במהלך אירוע ההמרה על ידי התאמה שלהם לתקציב התרומה (ולאחר צבירה). ניתן להשתמש בתכונה 'קנה מידה' כדי להגדיל את יחסי האות לרעש.
החלטה: מספר יעדי המדידה וחלוקת התקציב לפרטיות
המאמר הזה קשור לקנה מידה (Scaling) – חשוב לקרוא את המאמר שימוש ב התאמה לעומס (scaling).
רוצה לנסות ב-Noise Lab?
יעד מדידה הוא נקודה ייחודית על הגרף שנאספים באירועי המרה.
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את הנתונים שרוצים לעקוב אחריהם: יעדי מדידה. כברירת מחדל, מוגדרים שני יעדי מדידה: ערך הרכישה ומספר הרכישות.
- לוחצים על 'סימולציה' כדי להפעיל סימולציה עם יעדי ברירת המחדל.
- לוחצים על 'הסרה'. הפעולה הזו תסיר את יעד המדידה האחרון (מספר הרכישות במקרה הזה).
- לוחצים על 'סימולציה'.
- שימו לב שיחסי הרעש עבור ערך הרכישה נמוכים יותר (טוב יותר) בסימולציה השנייה הזו. הסיבה לכך היא שהגדרת פחות יעדי מדידה, ולכן יעד המדידה היחיד מקבל עכשיו את כל תקציב התרומה.
- לוחצים על 'איפוס'. עכשיו יש לך שוב שני יעדי מדידה: ערך רכישה ומספר רכישות. חשוב לדעת ש-Noise Lab מחשב באופן אוטומטי את גורמי קנה המידה שבהם יש להשתמש על סמך הטווחים (ערכים ממוצעים ומקסימליים) של יעדי המדידה בתרחיש שלך. כברירת מחדל, Noise Lab מפצלת את התקציב באופן שווה בין יעדי המדידה.
- לוחצים על 'סימולציה'.
- בחינת יחסי הרעש של הסימולציה שתתקבל. חשוב לשים לב לגורמים שמשפיעים על התאמה שמוצגים בסימולציה.
- עכשיו נתאים אישית את חלוקת תקציב הפרטיות כדי להשיג יחסים טובים יותר בין אות לרעש.
- לשנות את אחוז התקציב שהוקצה לכל יעד מדידה. בהתאם לפרמטרים שמוגדרים כברירת מחדל, הטווח של יעד מדידה 1, כלומר ערך רכישה, רחב הרבה יותר (בין 0 ל-1,000) מיעד המדידה 2, כלומר מספר הרכישות (בין 1 ל-1, כלומר תמיד שווה ל-1). לכן יש צורך ב"יותר מקום להתאמה": מומלץ להקצות יותר תקציב תרומה ליעד מדידה 1 מאשר ליעד מדידה 2, כדי שניתן יהיה להגדיל אותו בצורה יעילה יותר (מידע נוסף מופיע בנושא 'קנה מידה').
- מקצים 70% מהתקציב ליעד המדידה 1. הקצאה של 30% ליעד המדידה 2.
- לוחצים על 'סימולציה'.
- בחינת יחסי הרעש של הסימולציה שתתקבל. ביחס לערך הרכישה, יחסי הרעש נמוכים יותר (טובים יותר) באופן משמעותי בהשוואה לסימולציה הקודמת. במספר הרכישות, הם כמעט ללא שינוי.
- המשיכו לשנות את חלוקת התקציב בין המדדים. בדקו איך זה משפיע על הרעש.
שים לב, אפשר להגדיר יעדי מדידה מותאמים אישית באמצעות הלחצנים 'הוספה/הסרה/איפוס'.
אם מודדים נקודה אחת על הגרף (יעד מדידה) באירוע המרה, למשל מספר ההמרות, הנקודה על הגרף יכולה לקבל את כל תקציב התרומה (65536). אם תגדירו כמה יעדי מדידה לאירוע המרה, כמו מספר ההמרות וערך הרכישה, צריך לחלוק את תקציב התרומה. המשמעות היא שיש לכם פחות מקום פנוי להגדלת הערכים.
לכן, ככל שמגדירים יותר יעדי מדידה, כך יחסי האות לרעש צפויים להיות נמוכים יותר (רעש גבוה יותר).
החלטה נוספת לקבל בנוגע ליעדי המדידה היא חלוקת התקציב. אם מפצלים את תקציב התרומה באופן שווה בין שתי נקודות על הגרף, כל נקודה על הגרף תקבל תקציב של 32,768/2 = 65536. האפשרות הזו עשויה להיות אופטימלית או לא, בהתאם לערך המקסימלי של כל נקודה על הגרף. לדוגמה, במקרה שאתם מודדים מספר רכישות עם ערך מקסימלי 1 וערך רכישה עם מינימום 1 עד 120, ערך הרכישה יכול להפיק תועלת מהגדלת "יותר מקום" - כלומר, במקרה שצריך להקצות חלק גדול יותר מתקציב התרומה. תוכלו לראות אם צריך לתת עדיפות לכמה יעדי מדידה על פני יעדים אחרים ביחס להשפעה של הרעש.
החלטה: ניהול חיצוני
רוצה לנסות ב-Noise Lab?
יעד מדידה הוא נקודה ייחודית על הגרף שנאספים באירועי המרה.
- עוברים למצב מתקדם.
- בחלונית הצדדית 'פרמטרים', מחפשים את 'אסטרטגיית הצבירה שלך' > 'קנה מידה'.
- ודא שהאפשרות 'שינוי קנה מידה' מוגדרת כ'כן'. חשוב לזכור שמערכת Noise Lab מחשבת באופן אוטומטי את גורמי ההתאמה לעומס שיש להשתמש בהם על סמך הטווחים (ערכים ממוצעים וערכים מקסימליים) שהגדרתם ליעדי המדידה.
- נניח שהרכישה הגדולה ביותר אי פעם הייתה 8,000 ש"ח, אבל רוב הרכישות מתרחשות בטווח של 40-480 ש"ח. תחילה נראה מה קורה אם אנו משתמשים בגישת הגדלה מילולית (לא מומלץ): הזן $2000 כערך המקסימלי ל-purchaseValue.
- לוחצים על 'סימולציה'.
- שימו לב שיחסי הרעש גבוהים. הסיבה לכך היא שגורם קנה המידה שלנו מחושב כרגע על סמך 8,000 ש"ח, כשבפועל רוב ערכי הרכישה יהיו נמוכים ממנו באופן משמעותי.
- עכשיו נשתמש בגישה פרגמטית יותר של התאמה לעומס (scaling). צריך לשנות את ערך הרכישה המקסימלי ל-120$.
- לוחצים על 'סימולציה'.
- שימו לב שיחסי הרעש נמוכים יותר (טובים יותר) בסימולציה השנייה הזו.
כדי להטמיע התאמה לעומס (scaling), בדרך כלל מחשבים גורם קנה מידה על סמך הערך המקסימלי האפשרי של אירוע המרה נתון (מידע נוסף בדוגמה הזו).
עם זאת, כדאי להימנע משימוש בערך מקסימלי ליטרלי כדי לחשב את גורם קנה המידה הזה, כי זה יחמיר את יחסי האות לרעש. במקום זאת, הסירו ערכים חריגים והשתמשו בערך מקסימלי פרגמטי.
ניהול של פלטפורמות חיצוניות הוא נושא מעמיק. אפשר להשתמש בכמה טכניקות מורכבות כדי לשפר את היחסים בין האות לרעש. אחת מהן מתוארת במאמר ניהול מתקדם של חריגים.
השלבים הבאים
עכשיו, אחרי שבדקתם אסטרטגיות שונות לניהול רעשים בהתאם לתרחיש לדוגמה שלכם, תוכלו להתחיל להתנסות בדוחות סיכום על ידי איסוף נתוני מדידה אמיתיים דרך ניסוי מקור. כדאי לעיין במדריכים ובטיפים לגבי התנסות עם ה-API.
נספח
סיור קצר במעבדת הרעש
בעזרת Noise Lab תוכלו להעריך ולהשוות אסטרטגיות של ניהול רעשים במהירות. אפשר להשתמש בה כדי:
- להבין מהם הפרמטרים העיקריים שיכולים להשפיע על הרעש, ואיזו השפעה יש להם.
- הדמיה של השפעת הרעש על הנתונים של מדידת הפלט בהינתן החלטות שונות לגבי התכנון. צריך לשנות את הפרמטרים של העיצוב עד שמגיעים ליחס בין אות לרעש שמתאים לתרחיש שלכם לדוגמה.
- נשמח לקבל משוב לגבי התועלת של דוחות הסיכום: אילו ערכים של אפסילון ופרמטרים של רעש מתאימים לך, ואילו לא? איפה נמצאות נקודות ההטיה?
אפשר להתייחס לזה בתור שלב הכנה. Noise Lab יוצרת נתוני מדידה כדי לדמות את הפלט של דוחות הסיכום על סמך הקלט שלכם. היא לא שומרת נתונים ולא משתפת אותם.
יש שני מצבים שונים ב-Noise Lab:
- מצב פשוט: הסבר על העקרונות הבסיסיים של אמצעי הבקרה לשליטה ברעש.
- מצב מתקדם: כדאי לבדוק אסטרטגיות שונות לניהול רעשים ולהעריך איזו מהן מובילה ליחס האות-לרעש המתאים ביותר בתרחישים לדוגמה שלך.
לוחצים על הלחצנים בתפריט העליון על מנת להחליף בין שני המצבים (#1 בצילום המסך שבהמשך).
מצב פשוט
- במצב פשוט, אפשר לשלוט בפרמטרים (שמופיעים בצד שמאל, או #2 בצילום המסך שבהמשך), כמו Epsilon, ולראות איך הם משפיעים על הרעש.
- לכל פרמטר יש הסבר קצר (לחצן '?'). לוחצים על הקישורים האלה כדי לראות הסבר על כל פרמטר (#3 בצילום המסך שבהמשך)
- כדי להתחיל, צריך ללחוץ על הלחצן "סימולציה" ולראות איך הפלט נראה (#4 בצילום המסך שבהמשך)
- בקטע 'פלט' ניתן לראות מגוון פרטים. ליד חלק מהרכיבים מופיע הסימן `?`. לחצו על כל `?` כדי לראות הסבר על פרטי המידע השונים.
- בקטע 'פלט', לוחצים על המתג 'פרטים' כדי לראות גרסה מורחבת של הטבלה (מס' 5 בצילום המסך שבהמשך)
- מתחת לכל טבלת נתונים בקטע הפלט יש אפשרות להוריד את הטבלה לשימוש אופליין. בנוסף, בפינה השמאלית התחתונה יש אפשרות להוריד את כל טבלאות הנתונים (#6 בצילום המסך שבהמשך)
- בודקים הגדרות שונות לפרמטרים בקטע Parameters (פרמטרים) ולוחצים על Simulated (סימולציה) כדי לראות איך הם משפיעים על הפלט:
Noise Lab Interface for Simple mode.
מצב מתקדם
- במצב 'מתקדם' יש לך יותר שליטה על הפרמטרים. אפשר להוסיף יעדים ומאפיינים מותאמים אישית של מדידה (#1 ו-2. בצילום המסך שבהמשך)
- גוללים למטה בקטע Parameters (פרמטרים) ובודקים את האפשרות Key Strategy (אסטרטגיית מפתח). אפשר להשתמש בו כדי לבדוק מבני מפתח שונים (#3 בצילום המסך שבהמשך)
- כדי לבדוק מבני מפתח שונים, יש להחליף את אסטרטגיית המפתח ל-'ב'
- יש להזין את מספר מבני המפתח השונים שבהם רוצים להשתמש (ברירת המחדל היא '2')
- יצירת מבנים של מפתח בלחיצה
- יוצגו אפשרויות לציון מבני המפתחות. לשם כך, מסמנים את התיבה לצד המפתחות שרוצים לכלול לכל מבנה מפתחות.
- לחץ על 'סימולציה' כדי לראות את הפלט.
ממשק Noise Lab למצב מתקדם. 
ממשק Noise Lab למצב מתקדם.
מדדי רעש
קונספט מרכזי
הוספנו רעש כדי להגן על הפרטיות של כל משתמש בנפרד.
ערך 'רעש' גבוה מציין שקטגוריות או מפתחות הם דלילים ומכילים תרומות ממספר מוגבל של אירועים רגישים. היא עושה את זה אוטומטית על ידי Noise Lab כדי לאפשר לאנשים 'להסתתר בקהל', או במילים אחרות, להגן על הפרטיות של האנשים המוגבלים האלה בעזרת כמות גדולה יותר של רעש.
ערך 'רעש נמוך' מצביע על כך שהגדרת הנתונים תוכננה כך שכבר מאפשרת לאנשים 'להסתתר בתוך הקהל'. המשמעות היא שהקטגוריות מכילות תוכן שנוסף ממספר מספיק של אירועים, כדי להבטיח שהפרטיות של המשתמשים נשמרת.
ההצהרה הזו נכונה גם לגבי השגיאה הממוצעת באחוזים (APE) וגם לגבי RMSRE_T (שגיאה יחסית ברמה הבסיסית (root-mean-square) עם ערך סף).
APE (שגיאה ממוצעת באחוזים)
APE הוא היחס בין הרעש לבין האות, כלומר ערך הסיכום האמיתי.p> ערכים נמוכים יותר של APE מציינים יחס גבוה יותר בין אות לרעש.
נוסחה
בכל דוח סיכום נתון, ה-APE מחושב באופן הבא:
True הוא ערך הסיכום האמיתי. APE הוא ממוצע ה"רעש" ביחס לכל ערך סיכום אמיתי, ממוצע של כל הרשומות בדוח הסיכום. ב-Noise Lab מוכפלים המספר ב-100 כדי לציין אחוז.
יתרונות וחסרונות
לקטגוריות קטנות יותר יש השפעה לא פרופורציונלית על הערך הסופי של APE. זו עשויה להיות הטעיה בעת הערכת הרעש. לכן הוספנו מדד נוסף, RMSRE_T, שנועד לצמצם את המגבלה הזו של APE. אפשר לקרוא פרטים נוספים בדוגמאות.
קוד
למידע נוסף על החישוב של APE, קראו את קוד המקור.
RMSRE_T (שגיאה יחסית ברמה הבסיסית (root-mean-square) עם סף)
RMSRE_T (שגיאה יחסית של root-mean-square עם סף) הוא מדד נוסף של רעש.
איך לפרש RMSRE_T
ערכי RMSRE_T נמוכים יותר משמעותם יחס אות לרעש טוב יותר.
לדוגמה, אם יחס הרעש המקובל בתרחיש לדוגמה שלכם הוא 20% ו-RMSRE_T הוא 0.2, תוכלו להיות בטוחים שרמות הרעש הן בטווח המקובל שלכם.
נוסחה
עבור דוח סיכום נתון, RMSRE_T מחושב באופן הבא:
יתרונות וחסרונות
RMSRE_T הוא קצת יותר מורכב מהבנה של APE. עם זאת, יש לו כמה יתרונות, שבמקרים מסוימים הוא מתאים יותר מ-APE לניתוח רעש בדוחות סיכום:
- RMSRE_T יציב יותר. 'T' הוא ערך סף. הערך 'T' משמש כדי לתת משקל נמוך יותר בחישוב ה-RMSRE_T לקטגוריות שיש בהן פחות המרות ולכן הן רגישות יותר לרעשים בגלל גודלן הקטן. בסימון T, המדד לא מתחיל לעלות על קטגוריות עם מעט המרות. אם T שווה ל-5, ערך רעש קטן כמו 1 בקטגוריה עם 0 המרות לא יוצג כגדול מ-1. במקום זאת, היא תוגבל ל-0.2, ששווה ל-1/5, מכיוון ש-T שווה ל-5. קטגוריות קטנות יותר, שכתוצאה מכך הן רגישות יותר לרעש, נותנת משקל קטן יותר לקטגוריות קטנות יותר. כך המדד הזה יציב יותר, ולכן קל יותר להשוות בין שתי סימולציות.
- RMSRE_T מאפשר צבירה קלה. אם תכירו את ה-RMSRE_T של כמה קטגוריות, לצד המספרים האמיתיים שלהן, תוכלו לחשב את ה-RMSRE_T של הסכום שלהן. כך ניתן גם לבצע אופטימיזציה ל-RMSRE_T עבור הערכים המשולבים האלה.
הצבירה אפשרית עבור APE, אבל הנוסחה די מורכבת כי היא כוללת את הערך המוחלט של סכום הרעשים של לפלס. לכן קשה יותר לבצע אופטימיזציה ל-APE.
קוד
עיין בקוד המקור לחישוב RMSRE_T.
דוגמאות
דוח סיכום עם שלוש קטגוריות:
- bucket_1 = רעש: 10, trueSummaryValue: 100
- bucket_2 = רעש: 20, trueSummaryValue: 100
- bucket_3 = רעש: 20, trueSummaryValue: 200
APE = (0.1 + 0.2 + 0.1) / 3 = 13%
RMSRE_T = sqrt( ( (10/max(5,100))^2 + (20/max(5,100))^2 + (20/max(5,200))^2) / 3) = sqrt( (0.01 + 0.04 + 0.01) / 3) = 0.14
דוח סיכום עם שלוש קטגוריות:
- bucket_1 = רעש: 10, trueSummaryValue: 100
- bucket_2 = רעש: 20, trueSummaryValue: 100
- bucket_3 = רעש: 20, trueSummaryValue: 20
APE = (0.1 + 0.2 + 1) / 3 = 43%
RMSRE_T = sqrt( ( (10/max(5,100))^2 + (20/max(5,100))^2 + (20/max(5,20))^2) / 3) = sqrt( (0.01 + 0.04 + 1.0) / 3) = 0.59
דוח סיכום עם שלוש קטגוריות:
- bucket_1 = רעש: 10, trueSummaryValue: 100
- bucket_2 = רעש: 20, trueSummaryValue: 100
- bucket_3 = רעש: 20, trueSummaryValue: 0
APE = (0.1 + 0.2 + אינסוף) / 3 = אינסוף
RMSRE_T = sqrt( ( (10/max(5,100))^2 + (20/max(5,100))^2 + (20/max(5,0))^2) / 3) = sqrt( (0.01 + 0.04 + 16.0) / 3) = 2.31
ניהול מפתחות מתקדם
לחברת DSP או לחברה למדידת נתוני מודעות יכולה להיות אלפי לקוחות פרסום ברחבי העולם, ממגוון תחומים, מטבעות ופוטנציאליים למחיר רכישה. כלומר, סביר להניח שלא יהיה מעשי מאוד ליצור ולנהל מפתח צבירה אחד לכל מפרסם. בנוסף, יהיה קשה יותר לבחור ערך מצטבר מקסימלי ותקציב צבירה שיגביל את ההשפעה של הרעש בקרב אלפי המפרסמים הגלובליים האלה. במקום זאת, נתייחס לתרחישים הבאים:
אסטרטגיה מרכזית א'
ספק הפרסום הדיגיטלי מחליט ליצור ולנהל מפתח אחד לכל לקוחות הפרסום שלו. בכל המפרסמים ובכל המטבעות, טווח הרכישות משתנה - מרכישות בנפח נמוך, מרכישות יוקרתיות ועד לרכישות בנפח גבוה וברמה נמוכה. כתוצאה מכך יתקבל המפתח הבא:
| מפתח (מספר מטבעות) | |
|---|---|
| ערך מצטבר מקסימלי | 5,000,000 |
| טווח של ערכי רכישה | [120 - 5000000] |
אסטרטגיה ראשית ב'
ספק טכנולוגיות הפרסום מחליט ליצור ולנהל שני מפתחות לכל לקוחות הפרסום שלו. הם מחליטים להפריד בין המפתחות לפי מטבע. בכל המפרסמים ובכל המטבעות, טווח הרכישות משתנה - מנפח נמוך, רכישות יוקרתיות ועד רכישות בנפח גבוה, במחירים נמוכים. הם מופרדים לפי מטבע, והם יוצרים 2 מפתחות:
| מפתח 1 (USD) | מפתח 2 (¥) | |
|---|---|---|
| ערך מצטבר מקסימלי | 160,000 ש"ח | 5,000,000¥ |
| טווח של ערכי רכישה | [120 - 40,000] | [15,000 - 5,000,000] |
לאסטרטגיה ב' יהיה פחות "רעש" בתוצאות של אסטרטגיה א', כי ערכי המטבעות לא מחולקים באופן אחיד בין מטבעות. לדוגמה, כדאי לשקול איך רכישות שנקובות ב-¥ בשילוב עם רכישות שנקובות ב-USD ישנו את נתוני הבסיס והתוצאה תהיה רעש.
אסטרטגיה מרכזית ג'
ספק הפרסום הדיגיטלי מחליט ליצור ולנהל ארבעה מפתחות עבור כל לקוחות הפרסום שלו, ולהפריד אותם לפי מטבע x תחום המפרסם:
| מפתח 1 (דולר ארה"ב x מפרסמים של תכשיטים יוקרתיים) |
מפתח 2 (¥ x מפרסמי תכשיטים יוקרתיים) |
מפתח 3 (מפרסמים קמעונאיים של ביגוד בדולר ארה"ב) |
מפתח 4 (מפרסמים של קמעונאי ביגוד ¥ x) |
|
|---|---|---|---|---|
| ערך מצטבר מקסימלי | 160,000 ש"ח | 5,000,000¥ | 2,000 ש"ח | 65,000 |
| טווח של ערכי רכישה | [10,000 - 40,000] | [1,250,000 - 5,000,000] | [120 - 500] | [15,000 - 65,000] |
יהיה פחות רעש בתוצאה של אסטרטגיה ג' בהשוואה לאסטרטגיית מפתח ב', כי ערכי הרכישה של המפרסמים לא מחולקים באופן אחיד בין המפרסמים. לדוגמה, נסו לחשוב איך שילוב של רכישות של תכשיטים יוקרתיים בשילוב עם רכישות של כובעי מצחייה ישנו את הנתונים המקוריים והתוצאה תהיה רעש.
כדי להפחית את הרעש בפלט, כדאי ליצור ערכים מקסימליים משותפים וגורמי התאמה לעומס (scaling) עבור המשותפים בין מספר מפרסמים. לדוגמה, תוכל לנסות אסטרטגיות שונות למטה עבור המפרסמים שלך:
- אסטרטגיה אחת מופרדת לפי מטבע (USD, ¥, CAD וכו')
- אסטרטגיה אחת המופרדת לפי ענף המפרסמים (ביטוח, רכב, קמעונאות וכו')
- שיטה אחת שמופרדת באמצעות טווחי ערכי רכישה דומים ([100], [1000], [10000] וכו')
כשיוצרים אסטרטגיות מפתח בהתאם למכנה משותף בין המפרסמים, קל יותר לנהל את המפתחות ואת הקוד התואם, ויחסי האות לרעש גדלים. מומלץ להתנסות באסטרטגיות שונות עם מכנה משותף של מפרסמים כדי לגלות נקודות הטיה בהגדלת ההשפעה של הרעש לעומת ניהול הקוד.
ניהול מתקדם של חריגים
נתייחס לתרחיש המתייחס לשני מפרסמים:
- מפרסם א:
- בכל המוצרים באתר של מפרסם א', אפשרויות מחיר הרכישה נעות בין [$120 ל- $1,000] , בטווח של 880$.
- מחירי הרכישה מתחלקים באופן שווה על פני הטווח של 880$, ללא חריגות מעבר לשתי סטיות תקן ממחיר הרכישה החציוני.
- מפרסם ב':
- בכל המוצרים באתר של מפרסם ב', אפשרויות מחיר הרכישה נעות בין [$120 ל- $1,000] , בטווח של 880$.
- מחירי הרכישה נעים באופן משמעותי בטווח של 120-500$, כאשר רק 5% מהרכישות מתבצעות בטווח של 500-1,000$.
בהתחשב בדרישות של תקציב התרומות ובמתודולוגיה שבה [החלת רעש
אפשר לצמצם את התופעה הזו באמצעות הגדרה ספציפית של מפתח. בדיקת אסטרטגיות מפתח שעוזרות לנהל נתונים חיצוניים ולחלק באופן שווה יותר את ערכי הרכישה בין טווח הרכישה של המפתח.
למפרסם ב' אפשר ליצור שני מפתחות נפרדים כדי לתעד שני טווחי ערכי רכישה שונים. בדוגמה הזו, טכנולוגיית הפרסום ציינה שהחריגות מתרחשות מעל ערך הרכישה של 500$. נסה ליישם שני מפתחות נפרדים עבור המפרסם הזה:
- מבנה מפתח 1 : מפתח שמתעד רק רכישות בטווח שבין 120 $ל-500$ (המכסה כ-95% מנפח הרכישות הכולל).
- מבנה מפתח 2: מפתח שמתעד רק רכישות מעל 500$ (מכפלה של כ-5% מנפח הרכישות הכולל).
יישום אסטרטגיית המפתח הזו אמור לנהל טוב יותר את הרעש עבור מפרסם ב', ולעזור לו להפיק תועלת רבה יותר מדוחות הסיכום. בהתחשב בטווחים החדשים הקטנים יותר, כעת אמורה להיות התפלגות נתונים אחידה יותר על פני כל מפתח תואם עם המפתח הקודם, א' ומפתח ב'. התוצאה תהיה פחות השפעה על הרעש של הפלט של כל מפתח, בהשוואה למפתח הקודם.