אחרי שבודקים את הנתונים באמצעות שיטות סטטיסטיות ותצוגות חזותיות, צריך לבצע טרנספורמציה של הנתונים באופן שיעזור לאמן את המודל בצורה יעילה יותר. המטרה של הנורמליזציה היא להפוך את המאפיינים כך שיוצגו בסולם דומה. לדוגמה, נבחן את שתי התכונות הבאות:
- התכונה
X
משתרעת על הטווח 154 עד 24,917,482. - התכונה
Y
נמצאת בטווח 5 עד 22.
שתי התכונות האלה נמצאות בטווחים שונים מאוד. ייתכן שהנרמול ישנה את הערכים של X
ו-Y
כך שיכללו טווח דומה, אולי 0 עד 1.
אלה היתרונות של יצירת תבניות:
- עוזרת למודלים להגיע להסכמה מהר יותר במהלך האימון. כשלמאפיינים שונים יש טווחים שונים, ירידה בגרדינט יכולה "להקפיץ" ולהאט את ההתכנסות. עם זאת, אופטימיזציות מתקדמות יותר כמו Adagrad ו-Adam מגינות מפני הבעיה הזו על ידי שינוי קצב הלמידה בפועל לאורך זמן.
- עוזרת למודלים להסיק תחזיות טובות יותר. כשלתכונות שונות יש טווחים שונים, התחזיות של המודל שייווצר עשויות להיות פחות מועילות.
- עוזרת להימנע מ'מלכודת ה-NaN' כשערכי המאפיינים גבוהים מאוד.
NaN הוא קיצור של not a number. כשערך במודל חורג ממגבלת הדיוק של נקודת הצפה, המערכת מגדירה את הערך כ-
NaN
במקום כמספר. כשמספר אחד במודל הופך ל-NaN, מספרים אחרים במודל הופכים ל-NaN בסופו של דבר. - עוזרת למודל ללמוד משקלים מתאימים לכל מאפיין. בלי התאמה לעומס של המאפיינים, המודל נותן יותר מדי תשומת לב למאפיינים עם טווחים רחבים, ולא מספיק תשומת לב למאפיינים עם טווחים צרים.
מומלץ לבצע נורמליזציה של מאפיינים מספריים שמכסים טווחים שונים מאוד (לדוגמה, גיל והכנסה).
מומלץ גם לבצע נורמליזציה למאפיין מספרי יחיד שמכסה טווח רחב, כמו city population.
כדאי להביא בחשבון את שתי התכונות הבאות:
- הערך הנמוך ביותר של המאפיין
A
הוא -0.5 והערך הגבוה ביותר הוא +0.5. - הערך הנמוך ביותר של המאפיין
B
הוא -5.0 והערך הגבוה ביותר הוא +5.0.
למאפיין A
ולמאפיין B
יש טווחים צרים יחסית. עם זאת, היקף התכונה B
רחב פי 10 מהיקף התכונה A
. לכן:
- בתחילת האימון, המודל מניח שתכונה
B
"חשובה" פי עשרה מתכונהA
. - תהליך האימון יימשך יותר זמן מהצפוי.
- יכול להיות שהמודל שייווצר לא יהיה אופטימלי.
הנזק הכולל כתוצאה מהיעדר נורמליזציה יהיה קטן יחסית, אבל עדיין מומלץ לבצע נורמליזציה של מאפיין א' ומאפיין ב' לאותה סולם, אולי בטווח של -1.0 עד +1.0.
עכשיו נבחן שני מאפיינים עם פער גדול יותר בין טווחי הערכים:
- הערך הנמוך ביותר של המאפיין
C
הוא -1 והערך הגבוה ביותר הוא +1. - הערך הנמוך ביותר של המאפיין
D
הוא +5,000 והערך הגבוה ביותר הוא +1,000,000,000.
אם לא תבצעו נורמליזציה של מאפיין C
ומאפיין D
, סביר להניח שהמודל לא יהיה אופטימלי. בנוסף, תהליך האימון יימשך הרבה יותר זמן עד שיגיע לערעור, או שהוא עלול לא להגיע לערעור בכלל.
בקטע הזה נסקור שלוש שיטות נפוצות לנירמול:
- התאמה לינארית לעומס
- שינוי קנה המידה של ציון התקן
- שינוי גורף ביומן
בקטע הזה מוסבר גם על חיתוך. אמנם זו לא טכניקה רגילה של נורמליזציה, אבל היא מאפשרת לצמצם תכונות מספריות לא רצויות לטווח נתונים שמניב מודלים טובים יותר.
קנה מידה לינארי
שינוי גודל ליניארי (שנקרא בדרך כלל פשוט שינוי גודל) הוא המרה של ערכים של נקודה צפה מהטווח הטבעי שלהם לטווח רגיל – בדרך כלל מ-0 עד 1 או מ--1 עד +1.
לוחצים על הסמל כדי לראות את החישוב.
מומלץ להשתמש בהתאמה לינארית כשכל התנאים הבאים מתקיימים:
- הערכים התחתון והעליון של הנתונים לא משתנים הרבה לאורך זמן.
- התכונה מכילה מעט ערכים חריגים או לא מכילה ערכים כאלה, והערכים החריגים האלה לא קיצוניים.
- התכונה מופצת באופן שווה פחות או יותר בטווח שלה. כלומר, בתרשים היסטוגרמה יוצגו עמודות בערך שווה בערך לרוב הערכים.
נניח שהאדם age
הוא תכונה. שינוי קנה מידה ליניארי הוא שיטה טובה לנירמול של age
כי:
- הערכים המשוערים של הגבול התחתון והגבול העליון הם 0 עד 100.
age
מכיל אחוז קטן יחסית של ערכים חריגים. רק כ-0.3% מהאוכלוסייה הם בני יותר מ-100.- למרות שקבוצות גיל מסוימות מיוצגות טוב יותר מאחרות, מערך נתונים גדול אמור להכיל דוגמאות מספיקות מכל הגילאים.
תרגול: בדיקת ההבנה
נניח שבמודל יש מאפיין בשםnet_worth
שמכיל את השווי נטו של אנשים שונים. האם שינוי קנה מידה לינארי הוא שיטה טובה לנירמול של net_worth
? למה או למה לא?
לוחצים על הסמל כדי לראות את התשובה.
שינוי קנה המידה של ציון התקן
ציון Z הוא מספר סטיות התקן של ערך מהממוצע. לדוגמה, ערך ש-2 סטיות סטנדרטיות גבוהות מהממוצע, מקבל ציון Z של +2.0. ערך ש-1.5 סטיות סטנדרטיות קטן מהממוצע, מקבל ציון Z של -1.5.
ייצוג של תכונה באמצעות שינוי קנה מידה לפי ציון Z פירושו שמאחסנים את ציון ה-Z של התכונה הזו בוקטור התכונות. לדוגמה, בתרשים הבא מוצגים שני תרשים היסטוגרמה:
- בצד ימין, מוצגת התפלגות נורמלית קלאסית.
- בצד שמאל, אותה התפלגות לאחר נורמליזציה באמצעות שינוי קנה המידה של ציון Z.

שינוי הסולם לפי ציון Z הוא גם בחירה טובה לנתונים כמו אלה שמוצגים באיור הבא, שיש להם רק חלוקה רגילה באופן כללי.

לוחצים על הסמל כדי לראות את החישוב.
לוחצים על הסמל כדי לקבל מידע נוסף על התפלגויות נורמליות.
ציון Z הוא בחירה טובה כשהנתונים עוקבים אחרי התפלגות נורמלית או אחרי התפלגות שדומה להפלגה נורמלית.
חשוב לזכור שחלק מההפצות עשויות להיות רגילות בחלק הארי של הטווח שלהן, אבל עדיין להכיל ערכים חריגים קיצוניים. לדוגמה, יכול להיות שרוב הנקודות בתכונה net_worth
ייכללו ב-3 סטיות התקן, אבל כמה דוגמאות לתכונה הזו יכולות להיות במרחק מאות סטיות התקן מהממוצע. במקרים כאלה, אפשר לשלב בין שינוי קנה המידה של ציון Z לבין סוג אחר של נירמול (בדרך כלל חיתוך) כדי לטפל במצב הזה.
תרגול: בדיקת ההבנה
נניח שהמודל שלכם מתאמן על מאפיין בשםheight
שמכיל את הגובה של עשרה מיליון נשים בוגרות. האם שינוי קנה המידה של ציון התקן יהיה שיטה טובה לנרמל את height
? למה או למה לא?
לוחצים על הסמל כדי לראות את התשובה.
שינוי גורף ביומן
כשמשתמשים בהתאמה לערך לוגריתמי, המערכת מחשבת את הלוגריתם של הערך הגולמי. בתיאוריה, הלוגריתם יכול להיות בכל בסיס. בפועל, בדרך כלל מחשבים את הלוגריתם הטבעי (ln) כשמשתמשים בהתאמה לעקומת לוגריתם.
לוחצים על הסמל כדי לראות את החישוב.
שינוי קנה המידה לפי נתוני יומן שימושי כשהנתונים תואמים להתפלגות של חוק העוצמה. באופן כללי, התפלגות לפי חוק העוצמה נראית כך:
- לערכים נמוכים של
X
יש ערכים גבוהים מאוד שלY
. - ככל שהערכים של
X
עולים, הערכים שלY
יורדים במהירות. כתוצאה מכך, לערכים גבוהים שלX
יש ערכים נמוכים מאוד שלY
.
דירוגים של סרטים הם דוגמה טובה להתפלגות לפי חוק העוצמה. שימו לב לדברים הבאים באיור הבא:
- לחלק מהסרטים יש הרבה דירוגים של משתמשים. (לערכים נמוכים של
X
יש ערכים גבוהים שלY
). - לרוב הסרטים יש מעט מאוד דירוגים של משתמשים. (לערכים גבוהים של
X
יש ערכים נמוכים שלY
).
שינוי הפורמט של הנתונים לנתוני יומן משנה את התפלגות הנתונים, וכך עוזר לאמן מודל שיוכל לחזות טוב יותר.
דוגמה שנייה: מכירות ספרים תואמות לחלוקה לפי חוק העוצמה כי:
- רוב הספרים שפורסמו נמכרים במספר קטן מאוד של עותקים, אולי מאה או מאתיים.
- חלק מהספרים נמכרים בכמה אלפי עותקים.
- רק כמה רבי-מכר יימכרו ביותר ממיליון עותקים.
נניח שאתם מאומנים מודל לינארי כדי למצוא את הקשר בין, למשל, עטיפות של ספרים למכירות של ספרים. אימון של מודל לינארי בערכי נתונים גולמיים יצטרך למצוא משהו שקשור לכריכות של ספרים שנמכרו מהם מיליון עותקים, שחזק פי 10,000 מכריכות של ספרים שנמכרו מהם רק 100 עותקים. עם זאת, שימוש במדד לוגרי של כל נתוני המכירות מאפשר לבצע את המשימה הזו בצורה יעילה הרבה יותר. לדוגמה, הלוג של 100 הוא:
~4.6 = ln(100)
בעוד שהלוג של 1,000,000 הוא:
~13.8 = ln(1,000,000)
לכן, הלוג של 1,000,000 גדול רק פי שלושה בערך מהלוג של 100. סביר להניח שתוכלו לדמיין שכריכה של ספר רבי-מכר חזקה פי שלושה (באופן כלשהו) מכריכה של ספר שמספר המכירות שלו נמוך מאוד.
חיתוך
חיתוך הוא שיטה לצמצום ההשפעה של ערכים חריגים קיצוניים. בקצרה, בדרך כלל חותכים (מצמצמים) את הערך של ערכים חריגים לערך מקסימלי ספציפי. 'חיתוך' הוא רעיון מוזר, אבל הוא יכול להיות יעיל מאוד.
לדוגמה, נניח שיש מערך נתונים שמכיל מאפיין בשם roomsPerPerson
שמייצג את מספר החדרים (מספר החדרים הכולל חלקי מספר הדיירים) בבתים שונים. בתרשים הבא מוצג שיותר מ-99% מערכי התכונה תואמים להתפלגות נורמלית (בערך, ממוצע של 1.8 וסטיית תקן של 0.7). עם זאת, התכונה מכילה כמה ערכים חריגים, חלקם קיצוניים:

איך אפשר לצמצם את ההשפעה של ערכים חריגים קיצוניים כאלה? תרשים ההיסטוגרמה הוא לא התפלגות שווה, התפלגות נורמלית או התפלגות לפי חוק העוצמה. מה קורה אם פשוט מגבילים או חותכים את הערך המקסימלי של roomsPerPerson
לערך שרירותי, למשל 4.0?

חיתוך ערך המאפיין ל-4.0 לא אומר שהמודל מתעלם מכל הערכים שגדולים מ-4.0. המשמעות היא שכל הערכים שהיו גדולים מ-4.0 הופכים עכשיו ל-4.0. זה מסביר את הגבעה המוזרה ב-4.0. למרות העלייה הזו, קבוצת המאפיינים המותאמת עכשיו שימושית יותר מהנתונים המקוריים.
רגע! האם אפשר באמת לצמצם כל ערך חריג לסף עליון שרירותי כלשהו? כן, כשמאמנים מודל.
אפשר גם לחתוך ערכים אחרי החלת צורות אחרות של נורמליזציה. לדוגמה, נניח שאתם משתמשים בשימוש במדד Z-score, אבל לחלק מהערכים החריגים יש ערכים מוחלטים הרבה יותר גדולים מ-3. במקרה כזה, תוכלו:
- חיתוך של ציונים סטנדרטיים (Z-scores) שגדולים מ-3 כך שהם יהיו בדיוק 3.
- חיתוך של ציונים סטנדרטיים (Z-scores) שקטנים מ--3 כך שהם יהיו בדיוק -3.
חיתוך מונע מהמודל ליצור יותר מדי אינדקסים לנתונים לא חשובים. עם זאת, יש ערכים חריגים שחשובים, לכן צריך לקצץ את הערכים בזהירות.
סיכום של שיטות נירמול
טכניקת נירמול | נוסחה | מתי להשתמש? |
---|---|---|
קנה מידה לינארי | כשהתכונה מופיעה באופן אחיד בטווח קבוע. | |
שינוי קנה המידה של ציון התקן | כשההפצה של המאפיין לא מכילה ערכים חריגים קיצוניים. | |
שינוי גורף ביומן | כשהתכונה תואמת לחוק העוצמה. | |
חיתוך | If , set If , set |
כשהתכונה מכילה ערכים חריגים קיצוניים. |
תרגול: בדיקת הידע
נניח שאתם מפתחים מודל לחיזוי הפרודוקטיביות של מרכז נתונים על סמך הטמפרטורה שנמדדת בתוך מרכז הנתונים.
כמעט כל הערכים של temperature
במערך הנתונים נעים בין 15 ל-30 (צלזיוס), עם החרגות הבאות:
- פעם או פעמיים בשנה, בימים חמים במיוחד, מתועדים ב-
temperature
כמה ערכים בין 31 ל-45. - כל נקודה אלפית ב-
temperature
מוגדרת לערך 1,000 במקום לטמפרטורה בפועל.
מהי שיטת נורמליזציה סבירה ל-temperature
?