נתונים מספריים: שינויים פולינומיים

לפעמים, כשלמומחי למידת מכונה יש ידע בתחום שמציע שמשתנה אחד קשור לריבוע, לקובייה או לחזקה אחרת של כדאי ליצור תכונה סינתטית ממודל אחד של התכונות המספריות הקיימות.

נבחן את ההתפשטות הבאה של נקודות נתונים, שבהן מייצגים מעגלים ורודים מחלקה אחת או קטגוריה אחת (לדוגמה, מין של עץ) ומשולשים ירוקים מחלקה אחרת (או מין של עץ):

איור 17. פיזור y=x^2 של נקודות נתונים, עם משולשים מתחת
            ומעגלים מעל העקומה.
איור 17. שתי מחלקות שאי אפשר להפריד ביניהן באמצעות שורה.

לא ניתן לשרטט קו ישר שמפריד ביניהם בצורה ברורה אבל אפשר לשרטט עקומה שעושה זאת:

איור 18. אותה תמונה כמו באיור 17, רק הפעם עם y=x^2
            כשכבת-על כדי ליצור גבול ברור בין המשולשים
            מעגלים.
איור 18. מפרידים את הכיתות כאשר y = x2.

כפי שהסברנו ב מודול רגרסיה לינארי, מודל ליניארי עם תכונה אחת, $x_1$, מתואר באמצעות המשוואה הלינארית:

$$y = b + w_1x_1$$

תכונות נוספות מטופלות בהוספת התנאים \(w_2x_2\), \(w_3x_3\)וכו'

צאצא הדרגתי מוצא את משקל $w_1$ (או משקולות \(w_1\), \(w_2\), \(w_3\), כשמדובר בתכונות נוספות) שמצמצם פונקציית האובדן של המודל. אבל לא ניתן להפריד בין נקודות הנתונים שמוצגות באמצעות קו. מה אוכל לעשות?

ניתן לשמור גם את המשוואה הלינארית וגם לאפשר חוסר ליניאריות על ידי הגדרת מונח חדש, \(x_2\), שמבוסס על \(x_1\) מרובע:

$$x_2 = x_1^2$$

ההתייחסות לתכונה הסינתטית הזו, שנקראת טרנספורמציה פולינומית, היא כמו לכל אחר. הנוסחה הלינארית הקודמת הופכת:

$$y = b + w_1x_1 + w_2x_2$$

עדיין אפשר להתייחס לזה רגרסיה לינארית והמשקולות נקבעות באמצעות ירידה הדרגתית, כרגיל, על אף שמכיל את איבר הריבועי מוסתר, הטרנספורמציה הפולינומית. בלי לשנות האופן שבו המודל הלינארי מתאמן, ההוספה של טרנספורמציה פולינומית מאפשרת כדי להפריד בין נקודות הנתונים באמצעות עקומה של צורה $y = b + w_1x + w_2x^2$.

בדרך כלל התכונה המספרית של תחום העניין מוכפלת בעצמה, כלומר בעוצמה מסוימת. לפעמים אנשי מקצוע בתחום למידת מכונה יכולים לנחש ניחוש מושכל על המעריך המתאים. לדוגמה, קשרים רבים קשורים למונחים בריבוע, כולל תאוצה כתוצאה מכוח הכבידה, הפחתת האור או הקול לאורך מרחק ואנרגיה פוטנציאלית אלסטית.

מושג קשור נתונים קטגוריים הם קרוסלת תכונות, ועוד מחברת לעיתים קרובות שתי תכונות שונות.